Visual attention for quality prediction at fine spatio-temporal scales : from perceptual weighting towards visual disruption modeling

par Yashas Rai kurlethimar

Thèse de doctorat en Informatique et applications

Sous la direction de Patrick Le Callet.

Le jury était composé de Anne Guérin-Dugué, David Bull, Mihai Mitrea.

Les rapporteurs étaient Frédéric Dufaux, Olivier Le Meur.

  • Titre traduit

    Utilisation de lattention visuelle pour la prédiction de qualité visuelle à échelle spatio-temporelle fine : de la pondération perceptuelle à une nouvelle mesure de disruption visuelle


  • Résumé

    Cette thèse revisite les relations entre les processus attentionnels visuels et la perception de qualité. Nous nous intéressons à la perception de dégradation dans des séquences d’images et leur impact sur la perception de qualité. Plutôt qu’un approcha globale, nous travaillons à une échelle spatio temporelle fine, plus adaptée aux décisions des encodeurs vidéo. Deux approches liant attention visuelle et qualité perçue sont explorées. La première, suit une approche classique, de type pondération des distorsions. Ceci est mis en relation avec des scénarios d’usage comme le streaming interactif ou la visualisation de contenus omnidirectionnels. Une seconde approche nous amène à introduire le concept de disruption visuelle (DV) et sa relation avec la perception de qualité. Nous proposons d’abord des techniques permettant d’étudier les saccades résultantes de la DV à partir par de données expérimentales oculométriques. Nous proposons ensuite un modèle computationnel de prédiction de la DV. Une nouvelle mesure objective de qualité est ainsi introduite nommée "Disruption Metric" permettant l’évaluation de la qualité locale de vidéos. Les résultats obtenus trouvent leurs applications dans de nombreux domaines tels que l’évaluation de qualité, la compression, la transmission perpétuellement optimisée de contenus visuel ou le rendu/visualisation foéval.


  • Résumé

    This thesis revisits the relationship between visual attentional processes and the perception of quality. We mainly focus on the perception of degradation in video sequences and their overall impact on our perception of quality. Rather than a global approach, we work in a very localized spatio-temporal scale, more adapted to the decision-process in video encoders. Two approaches linking visual attention and perceived quality are explored in the thesis. The first follows a classical approach, of the distortion weighting type. This is very useful in certain scenarios such as interactive streaming or visualization of omni-directional content. The second approach leads us to the introduction of the concept of visual disruption(DV), and explore its relation to perceived quality. We first propose techniques for studying the saccades related to DV from experimental oculometric data. Then, a computational model for the prediction of DV is proposed. A new objective measurement of quality is therefore born, which we call the "Disruption Metric" : that allows the evaluation of the local quality of videos. The results obtained, find their applications in many fields such as quality evaluation, compression, perpetually optimized transmission of visual content or foveated rendering / transmission.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université de Nantes. Service commun de la documentation. Bibliothèque électronique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.