Qualité visuelle des maillages 3D rendus avec des attributs de couleur : Evaluation subjective et objective

Visual quality of rendered 3D meshes with color attributes : Subjective and objective evaluation

• Auteur / Autrice : Yana Nehme
• Direction : Guillaume Lavoué
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/12/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (2009-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Institut national des sciences appliquées (Lyon ; 1957-....)
• Partenaire(s) de recherche : Laboratoire : LIRIS - Laboratoire d'Informatique en Image et Systèmes d'information (Rhône ; 2003-....) - Laboratoire d'InfoRmatique en Image et Systèmes d'information / LIRIS
• Partenaire(s) de recherche : Equipe de recherche : Origami
• Jury : Président / Présidente : Pierre Alliez
• Jury : Examinateurs / Examinatrices : Guillaume Lavoué, Pierre Alliez, Luce Morin, Aljosa Smolic, Florent Dupont, Véronique Eglin, Patrick Le callet, Rafal Mantiuk
• Jury : Rapporteurs / Rapporteuses : Luce Morin, Aljosa Smolic

Mots clés

Mots clés contrôlés

Infographie

Mots clés libres

Informatique graphique

Evaluation de la qualité visuelle

Evaluation de la qualité subjective

Evaluation de la qualité objective

Graphique 3D

Maillage 3D

Attributs de couleur

Textures

Méthodologie subjective

Base de données

Métrique perceptuelle

Réseau de neurones

Attention visuelle

Réalité virtuelle

Crowdsourcing

Computer Graphics

Visual quality assessment

Subjective quality evaluation

Objective quality evaluation

3D Graphics

3D Meshes

Color Attributes

Textures

Subjective Methodologie

Dataset

Perceptual metrics

Cnn

Visual Attention

Virtual reality

Crowdsourcing

Résumé

Au fur et à mesure que le progrès technologique et les capacités dans le domaine de l'informatique graphique augmentent de jour en jour, le besoin de maîtriser la visualisation et le traitement des données 3D augmente au même rythme. En effet, le développement des logiciels de modélisation et des dispositifs d'acquisition rend les graphiques 3D riches et réalistes: des modèles complexes enrichis de divers attributs d'apparence. Le mode de consommation du contenu 3D évolue également, passant des écrans standards à la Réalité Virtuelle et Mixte (VR/MR). Cependant, la taille et la complexité des riches modèles 3D rendent souvent leur visualisation interactive problématique. C'est notamment le cas dans les environnements immersifs et les applications en ligne. Ainsi, pour éviter les problèmes de latence et de rendu, diverses opérations de traitement, dont la simplification et la compression, sont généralement appliquées aux modèles 3D, entraînant une perte de qualité dans le rendu final. Par conséquent, des études subjectives et des mesures objectives sont nécessaires pour prédire cette perte visuelle et évaluer la qualité telle que perçue par les observateurs humains. Dans cette thèse, nous relevons les défis susmentionnés. Nous menons une étude approfondie pour déterminer la meilleure méthodologie d'évaluation subjective de la qualité à adopter pour évaluer la qualité visuelle des graphiques 3D, en particulier dans la VR. Nous établissons deux bases de données d'évaluation de la qualité composés de maillages avec des couleurs par sommets et de maillages texturées, respectivement. Le premier est produit en VR et le second en crowdsourcing. À notre connaissance, il s'agit des plus grands bases de données pour les maillages avec attributs de couleur disponibles à ce jour. En outre, nous fournissons une analyse approfondie de l'influence des caractéristiques des modèles sources, des interactions de distorsion, des points de vue et des animations sur la qualité perçue des maillages 3D. En s'appuyant sur nos deux bases de données établies, nous proposons deux métriques perceptuelles pour l'évaluation de la qualité des graphiques 3D avec des attributs de couleur. La première métrique est basée modèle tandis que la seconde est une métrique basée image qui utilise des réseaux neuronaux convolutifs. Nos métriques donnent des résultats de pointe sur nos deux bases de données. Enfin, nous étudions comment l'intégration de l'attention visuelle dans notre métrique de qualité perceptuelle améliore la qualité prédite.Les bases de données et le code source des métriques sont disponibles en ligne.

As technological advances and capabilities in the field of computer graphics grow day by day, the need to master the visualization and processing of 3D data increases at an equal pace. Indeed, the development of modeling software and acquisition devices makes 3D graphics rich and realistic: complex models enriched with various appearance attributes. The way this 3D content is consumed is also evolving from standard screens to Virtual and Mixed Reality (VR/MR). However, the size and complexity of these rich 3D models often make their interactive visualization problematic. This is particularly the case in immersive environments and online applications. Thus, to avoid latency and rendering issues, diverse processing operations, including simplification and compression, are usually applied, resulting in a loss of quality in the final rendering. Therefore, both subjective studies and objective metrics are needed to predict this visual loss and to assess the quality as perceived by human observers. In this thesis, we address the aforementioned challenges. We conduct an extensive study to determine the best subjective quality assessment methodology to adopt for assessing the visual quality of 3D graphics, especially in VR. We establish two quality assessment datasets composed of meshes with vertex colors and textured meshes, respectively. The former is produced in VR and the latter in crowdsourcing. To the best of our knowledge, these are the largest datasets for meshes with color attributes to date. Moreover, we provide an in-depth analysis of the influence of source model characteristics, distortion interactions, viewpoints and animations on the perceived quality of 3D meshes. Leveraging our two established datasets, we propose two data-driven perceptual metrics for quality assessment of 3D graphics with color attributes. The first metric is model-based while the second is an image-based metric that employs convolutional neural networks. Our metrics demonstrate state-of-the-art results on our two datasets. Lastly, we investigate how incorporating visual attention into our perceptual quality metric improves the predicted quality. The datasets and the source code of the metrics are publicly available.