De la perception locale des distorsions de codage à l'appréciation globale de la qualité visuelle des images et vidéos : apport de l'attention visuelle dans le jugement de qualité

From local perception of coding distortions to the overall visual quality evaluation of images and videos : Contribution of visual attention in judging visual quality

• Auteur / Autrice : Alexandre Ninassi
• Direction : Dominique Barba, Patrick Le Callet
• Type : Thèse de doctorat
• Discipline(s) : Informatique appliquée et traitement du signal
• Date : Soutenance en 2009
• Etablissement(s) : Nantes
• Partenaire(s) de recherche : autre partenaire : Université de Nantes. Faculté des sciences et des techniques

Mots clés

Mots clés contrôlés

Perception visuelle du mouvement

Perception visuelle

Perception des images

Codage

Résumé

Cette étude traite de l’évaluation locale des distorsions perceptuelles, de l’évaluation globale de la qualité visuelle, et de l’influence de l'attention visuelle en évaluation de qualité. Afin d’évaluer localement les distorsions dans les images, nous avons simplifié un modèle existant du système visuel humain en utilisant la transformée en ondelettes et nous avons proposé une meilleure modélisation des effets de masquage par la prise en compte du masquage semi-local. A partir de ces modèles, nous avons conçu et validé des métriques de qualité d’images. Pour les vidéos, nous avons conçu une méthode d'évaluation locale des distorsions temporelles reposant sur un cumul temporel court terme des distorsions spatiales. Celui-ci simule l'évaluation des distorsions via des mécanismes de sélection de l'attention visuelle. Une métrique de qualité s’appuyant sur cette méthode a été conçue et validée. Celle-ci est basée sur un cumul temporel long terme incorporant un comportement asymétrique et un effet de saturation perceptuelle. L’influence de l’attention visuelle sur l’évaluation de la qualité a été analysée à partir des données issues de tests oculométriques réalisés sur des images et sur des vidéos, en exploration libre et en tâche de qualité. Les résultats ont confirmé, entre autres, l'influence de la tâche de qualité sur le déploiement de l'attention visuelle. L'impact de l'attention visuelle sur l’évaluation objective de la qualité a également été étudié en utilisant l'information de saillance réelle. Nous avons montré qu’une simple pondération linéaire des distorsions par l'attention visuelle ne permettait pas d'améliorer clairement les performances des métriques de qualité

This study deals with the local evaluation of perceptual distortions, the overall visual quality assessment and the influence of visual attention in viusal quality assessment. To locally evaluate distortions in images, we have simplified an existing human visual system model using wavelet transform and we have proposed an improved visual masking model that takes into account both semi-local masking and contrast masking. From these models, we have designed and tested several image quality metrics. Regarding videos, we have developed a new method to locally evaluate the spatio-temporal distortions. This method is based on a short-term temporal pooling of spatial distortions which simulates the evaluation of distortions through some selection mechanisms of visual attention. A video quality metric based on this method has been designed and validated. It is based on a longterm temporal pooling incorporating perceptual saturation and asymmetric behavior. In order to study visual attention in subjective and objective visual quality assessment, eye-tracking experiments on images and videos have been conducted both in free task and quality task. From collected data we have studied the visual attention deployed in the different configurations. The results have confirmed, among others, the influence of the quality task on deployment of visual attention. The impact of visual attention in the construction of the quality judgment has also been studied using the real saliency information. Results show that, both with images and videos, a simple linear weighting of distortions by the visual attention does not clearly improve performances of objective quality metrics