Understanding binocular perception for the estimation of visual fatigue, visual attention and quality of experience for stereoscopic content

Vers la compréhension de la perception binoculaire pour l'estimation de la fatigue visuelle, l'attention visuelle et la qualité de l'expérience pour des contenus stéréoscopiques

• Auteur / Autrice : Iana Iatsun
• Direction : Christine Fernandez-Maloigne, Mohamed-Chaker Larabi
• Type : Thèse de doctorat
• Discipline(s) : Traitemement du signal et des images
• Date : Soutenance le 27/11/2014
• Etablissement(s) : Poitiers
• Ecole(s) doctorale(s) : École doctorale Sciences et ingénierie pour l'information, mathématiques (Limoges ; 2009-2018)
• Partenaire(s) de recherche : Laboratoire : SIC
• Partenaire(s) de recherche : faculte : Université de Poitiers. UFR des sciences fondamentales et appliquées
• Jury : Président / Présidente : Fabrice Mériaudeau
• Jury : Examinateurs / Examinatrices : Christine Fernandez-Maloigne, Mohamed-Chaker Larabi, Patricia Ladret, Jérôme Fournier
• Jury : Rapporteurs / Rapporteuses : Fabrice Mériaudeau, Faouzi Alaya Cheikh

Mots clés

Mots clés contrôlés

Attention

Qualité d'expérience (télécommunications)

Saillance visuelle

Perception de la profondeur

Vision binoculaire

Mots clés libres

Perception binoculaire

Attention visuelle

Fatigue visuelle

Contenu stéréoscopique

Résumé

L'avènement de la technologie 3D stéréoscopique (3DS) a produit autant d'enthousiasme que l'introduction de la télévision couleur. Contrairement à la télévision couleur 2D, la 3DS est loin d'être un processus naturel de vision puisqu'il repose sur le fait de tromper le cerveau en lui donnant des disparités qui n'existent pas dans la réalité. Par conséquent, cette vision non naturelle peut générer une fatigue visuelle et altérer la qualité, sans parler de certains phénomènes physiologiques et cognitifs peu explorés à ce jour. Cette thèse aborde l'étude de la perception binoculaire sous trois angles différents: 1- la fatiguevisuelle, 2- l'attention visuelle et, 3- la Qualité de l'Expérience (QdE). Tout d'abord, nous avons proposé un paradigme psychophysique entièrement contrôlé afin d’évaluer la fatigue visuelle et d’étudier le lien existant avec les caractéristiques visuelles les plus importantes obtenues par oculométrie. Ainsi, nous avons montré que l'accumulation de la fatigue visuelle causée par la 3DS est fortement plus élevée que celle causée par la 2D. Nous avons également proposé un modèle de prédiction de la fatigue visuelle basé sur les principales conclusions de l’étude et faisant appel aux paramètres intrinsèques dela vidéo. Une autre exploration fondamentale a été menée pour étudier l'impact de la disparité sur la perception des couleurs. Ainsi, les expériences subjectives, conduites avec des stimuli simples, ont montré la faible influence de la disparité dans ladiscrimination des couleurs. Cette importante conclusion confirme le fait que la perception de la profondeur repose non seulement sur des indices binoculaires mais aussi sur des indices monoculaires. La deuxième partie de la thèse porte sur l'étude de l'attention visuelle binoculaire et propose des modèles permettant de prédire des cartes de saillance d'une séquence 3D. L'idée repose sur l'utilisation des caractéristiques spatiotemporelles et la possibilité de prédire avec précision la profondeur à partir d’une seule vue de la paire stéréo. Par conséquent, le modèle proposé, incluant une étape de fusion optimisée, a montré de très bonnes performances en accord avec la vérité de terrain (l’attention visuelle). Enfin, les propriétés binoculaires du système visuel humain, telles que la fusion binoculaire et la rivalité, ont été exploitées conjointement avec la saillance prédite dans l’optique de proposer une mesure objective de la qualité stéréoscopique. La métrique de qualité proposée a été testée sur des bases d’images de référence et ses résultats montrent une bonne corrélation avec le jugement humain.

The advent of stereoscopic 3D (S3D) technology has generated as much enthusiasm as that generated by the introduction of color television. However, unlike color 2D television, S3D is far from being a natural viewing process since it relies on fooling thebrain by giving disparities that do not exist in reality. Therefore, this unnatural viewing may generate visual fatigue and alter the quality of Experience (QoE) of a user, not to mention some little-known physiological and cognitive phenomena. This thesis tackles the investigation of the binocular perception from three different but linked angles: 1- visual fatigue/discomfort, 2- visual attention and, 3- QoE. First, we proposed a fullycontrolled psychophysical paradigm in order to measure/estimate the visual discomfort and study the existing link with the most important visual characteristics obtained by eye-tracking. Thus, we demonstrated that visual fatigue accumulation caused by watching S3D content is significantly higher than accumulation caused by 2D watching. We also proposed a model of visual fatigue prediction based on our findings and intrinsic video features. The obtained model allows predicting visual fatigue accumulation from watching an S3D sequence. Another fundamental exploration has been conducted to study the impact of disparity on color perception. Therefore, subjective experiments with simple stimuli that have mainly binocular cues, showed that disparity plays almost no role in color discrimination. This important conclusion confirms the fact that 3D perception relies not only on binocular cues but also onmonocular cues. The second part of thesis focused on studying the binocular visual attention and proposing models allowing to predict saliency maps for a S3D scene. The idea lies in the use of temporal and spatial features in addition to the possibility of accurately predict depth from a single 2D view. Therefore, the proposed model including an optimized fusion step showed very good performance in comparison to eye-tracking experiments. Finally, the binocular properties of the human visual systemsuch as binocular fusion and rivalry have been exploited together with the visual saliency for the design of an objective quality metric. The latter accounts for the level of impairments in addition to the gap between both views. The proposed metric has been tested on publicly available datasets, and its results show a good correlation with human judgment.