Segmentation d’objets saillants dans des images/videos 360° et champ de lumière

Salient Object Segmentation in 360° images/videos and light field

• Auteur / Autrice : Yi Zhang
• Direction : Olivier Déforges
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 02/11/2022
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Jury : Président / Présidente : Olivier Lézoray
• Jury : Examinateurs / Examinatrices : Olivier Déforges, Olivier Lézoray, Jenny Benois Pineau, Aljosa Smolic, Ying Fu, Wassim Hamidouche
• Jury : Rapporteurs / Rapporteuses : Olivier Lézoray, Jenny Benois Pineau

Mots clés

Mots clés contrôlés

Optique

Vidéo -- Éclairage

Reconnaissance des formes (informatique)

Réalité augmentée

Vision par ordinateur

Mots clés libres

Segmentation d’objets saillants

360°

Champ de lumière

Attention

Audio-visuel

Estimation de l’incertitude

Salient object segmentation

360°

Light field

Attention

Audio-visual

Uncertainty estimation

Résumé

La segmentation d’objets saillants est une tâche imitant l’attention visuelle humaine, et a constamment attiré l’attention de la communauté de la vision par ordinateur en raison de son énorme potentiel pour le développement de futures applications de réalité augmentée. Cependant, les méthodes de segmentation d’objets saillants sont principalement formées et testées avec des images et des vidéos 2D où des stimuli visuels sont collectés en fonction de rayons lumineux et d’un champ de vision limités, échouant ainsi à s’adapter au scénario du monde réel où les sujets humains reconnaissent les objets saillants en (i) capturant des informations sur le champ lumineux, (ii) en observant des scènes dans un champ de vision panoramique à 360°. Dans cette thèse, nous avons mené des études systématiques sur la segmentation d’objets saillants sur des images/vidéos à 360°, et proposé de nouvelles méthodologies pour la segmentation d’objets saillants en champ lumineux. Nous avons d’abord proposé respectivement des jeux de données image et vidéo pour permettre la segmentation des objets saillants à 360°. Nos ensembles de données proposés fournissent des données visuelles couvrant diverses scènes quotidiennes du monde réel, avec des objets saillants garantis annotés avec des masques pixel par pixel au niveau de l’objet et de l’instance, des étiquettes de classe d’objet/scène grossières à fines, et des attributs indiquant le commun défis pour mener le segmentation d’objets saillants dans les images/vidéos 360°. Pour contribuer davantage à la segmentation d’objets saillants à base d’images/vidéos à 360°, nous suivons les procédures courantes de segmentation d’objets saillants 2D et établissons ainsi des études de référence complètes basées sur nos jeux de données d’images et de vidéos à 360° proposés, obtenant de nouvelles découvertes qui facilitent le développement de nouveaux modèles 360°. Pour imiter l’attention visuelle humaine dans des scènes du monde réel, nous avons donc proposé de nouvelles méthodologies basées respectivement sur le champ lumineux 2D, et les images/vidéos 360°. Pour être précis, nos nouveaux modèles basés sur le champ lumineux ont appris une attention synergique multimodale pour une segmentation efficace des objets saillants. Notre méthode proposée basée sur l’image à 360° a permis d’obtenir une amélioration significative sur plusieurs références à 360°. Notre méthode basée sur la vidéo à 360 ° a eu recours à une technique d’estimation aléatoire de l’incertitude et a tiré parti des signaux visuels et audio pour segmenter les objets saillants de manière explicable. Nous espérons que cette thèse pourra servir de point de départ pour un développement futur vers une modélisation immersive de l’attention visuelle humaine au niveau de l’objet basée sur le multimédia.

Salient object segmentation is a task mimicking human visual attention, and has been constantly appealing attention from the computer vision community owing to its huge potential for the development of future augmented reality applications. However, state-of-the-art salient object segmentation methods are mostly trained and tested with 2D images and videos where visual cues are collected based on limited light rays and field-ofview, thus failing to adapt to the real-world scenario where human subjects recognize the salient objects by (i) capturing light field information, (ii) observing scenes in a 360° panoramic fieldof- view. To close the gap between salient object segmentation academia and real-world applications, in this thesis, we conducted systematical studies towards 360° image-/video-based salient object segmentation, and proposed new methodologies for light field salient object segmentation. As current top-ranked salient object segmentation methods are mostly fully-supervised deep learning models, a lack of large-scale 360° image and video datasets surely limits the development of 360° models based on the same learning paradigm. To this end, we first respectively proposed image and video datasets to enable salient object segmentation in 360°. Our proposed datasets provide visual data covering various realworld daily scenes, with guaranteed salient objects annotated with both object-level and instance-level pixel-wise masks, coarse-tofine object-/scene-class labels and attributes indicating the common challenges for conducting salient object segmentation in both 360° images and 360° videos. To further contribute to 360° image- /video-based salient object segmentation, we follow the common procedures in 2D salient object segmentation and thus establishing comprehensive benchmark studies based on our proposed 360° image and video datasets, gaining new findings that facilitate the development of new 360° models. To mimic the human visual attention in real-world scenes, we thus proposed new methodologies based on 2D light field, 360° images and 360° videos, respectively. To be specific, our new light field-based models learned multi-modal synergistic attention for effective salient object segmentation. Our proposed 360° image-based method achieved significant improvement on multiple 360° benchmarks. Our 360° video-based method resorted to aleatoric uncertainty estimation technique and took advantage of both visual and audio cues to segment salient objects in an explainable manner. We hope this thesis could serve as a starting point for future development towards immersive multi-media-based object-level human visual attention modeling.