Evaluation de la qualité perceptuelle des nuages de points 3D par apprentissage profond

Perceptual quality assessment of 3D point clouds based on deep learning

• Auteur / Autrice : Marouane Tliba
• Direction : Aladine Chetouani, Giuseppe Valenzise
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : Orléans
• Ecole(s) doctorale(s) : Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS
• Partenaire(s) de recherche : Laboratoire : PRISME - Laboratoire Pluridisciplinaire de Recherche en Ingénierie des Systèmes et Mécanique Energétique

Mots clés

Mots clés libres

Apprentissage profond

Attention visuelle

Estimation de la qualité

Nuages de points 3D

3D point clouds

Deep learning

Visual attention

Quality assessment

Résumé

Le développement technologique a permis le déploiement d'un certain nombre de systèmes de vision par ordinateur. On retrouve ces systèmes pour la détection de comportements anormaux dans les lieux à hauts risques (aéroports, gares, etc.), des caméras sont aussi intégrées dans les véhicules pour l'assistance à la conduite (détection de panneaux, piétons, franchissements de lignes blanches, etc.). On peut citer également les outils biométriques (visage, empreinte, iris, etc.) devenus essentiels pour l'identification des personnes ou bien encore les applications liées au patrimoine culturel permettant de proposer de nouvelles expériences au public. Pour toutes ces applications, les données graphiques 3D (nuages de points) sont de plus en plus utilisées notamment pour la réalité virtuelle et mixte (VR/MR) qui suscite un certain engouement (musées, cinéma, etc.) de par la richesse des attributs utilisées (géométriques, cartes de texture, animation, etc.) mais également de par l'accès au contenu sans limite qu'offre cette technologie. A titre d'exemple, on peut citer le projet ILLUMINART MUSEUM qui exploite la réalité virtuelle pour donner accès au patrimoine culturel à des patients. Cette année si particulière due au COVID-19 a boosté cet engouement avec l'apparition de nouvelles applications (e-learning, working at home, design, médicale, etc.) dont certaines sont orientées valorisation du patrimoine (visite virtuelle des musées, analyse architecturale des monuments, etc.). Cependant, pour une visualisation fluide et correcte du contenu, les données 3D qui sont composées de centaines de milliers à plusieurs millions voire milliards de points sont souvent compressées. Cette étape nécessaire dans diverses applications peut fortement impacter la qualité d'expérience utilisateur en dégradant de façon notoire le rendu visuel. Dans le cadre du présent sujet de thèse, nous nous intéresserons aux distorsions engendrées par les différents traitements appliqués aux données 3D (nuages de points) et leur impact sur la qualité d'expérience utilisateur. Nous nous focaliserons sur les outils d'apprentissage profond [2] (ou « deep learning » en anglais) associées aux techniques d'intelligence artificielle. Ce travail se basera notamment sur les méthodes déjà développées au sein de l'axe Images-Vision du laboratoire PRISME sur les maillages 3D. Les méthodes développées exploitent à la fois les caractéristiques visuelles comme l'attention visuelle mais aussi le deep learning [3, 4, 5, 6]. Il conviendra d'adapter dans un premier ces outils aux nuages de points 3D. Ensuite, pour se rapprocher au mieux des données manipulées, les Graph Convolutional Networks (GCNs) seront exploités et adaptés à notre contexte. Pour valider les méthodes qui seront développées, des tests subjectifs seront réalisés pour disposer de la vérité terrain. Ainsi réalisée, cette base de données nous permettra de valider les méthodes développées mais aussi d'envisager différents scénarii et éventuellement diversifier le type de données (régionale, nationale et internationale). [1] Zhou Wang, Alan C. Bovik. « Modern image quality assessment » Morgan & Claypool Publishers, 2006 - 146 pages [2] MIT Course, 'Introduction to Deep Learning', http://introtodeeplearning.com/materials/2018_6S191_Lecture1.pdf [3] I. Abouelaziz, A. Chetouani, M. El Hassouni, L. Jan Latecki, H. Cherifi, « A convolutionnal neural network framework for blind mesh visual quality assessment», IEEE ICIP 2018 [4] I. Abouelaziz, A. Chetouani, M. El Hassouni, L. Jan Latecki, H. Cherifi, « 3D visual saliency and convolutional neural network for blind mesh quality assessment », Springer, Neural Computing and Applications, 2019 [5] M. Hamidi, A. Chetouani, M. El Haziti, M. El Hassouni, H. Cherifi, « Blind Robust 3-D Mesh Watermarking based on mesh Saliency and Wavelet Transform for Copyright Protection » MDPI Information, 2019 [6] I. Abouelaziz, A. Chetouani, M. El Hassouni, L. Jan Latecki, H. Cherifi, « No-Reference Mesh Visual Quality Assessment via Ensemble of Convolutional Neural Networks and Compact Multi-Linear Pooling », Elsevier, Pattern Recognition, 2020

Technological development has enabled the deployment of a number of computer vision systems. These systems are found for the detection of abnormal behavior in high-risk places (airports, stations, etc.), cameras are also integrated in vehicles for driving assistance (detection of signs, pedestrians, crossing lines white, etc.). We can also cite the biometric tools (face, fingerprint, iris, etc.) which have become essential for the identification of people or even applications linked to cultural heritage allowing new experiences to be offered to the public. For all these applications, 3D graphic data (point clouds) are used more and more particularly for virtual and mixed reality (VR / MR) which arouses a certain enthusiasm (museums, cinema, etc.) due to the wealth of attributes used (geometric, texture maps, animation, etc.) but also by the unlimited access to content offered by this technology. One example is the ILLUMINART MUSEUM project which uses virtual reality to provide access to cultural heritage to patients. This very special year due to COVID-19 has boosted this enthusiasm with the appearance of new applications (e-learning, working at home, design, medical, etc.), some of which are geared towards enhancing heritage (virtual visit to museums, analysis architectural monuments, etc.). However, 3D data that is made up of hundreds of thousands to millions or even billions of points is often compressed. This necessary step in various applications can strongly impact the quality of the user experience by significantly degrading the visual rendering. In the context of this thesis subject, we will be interested in the distortions generated by the different treatments applied to 3D data (point clouds) and their impact on the quality of the user experience. We will focus on deep learning tools [2] associated with artificial intelligence techniques. This work will be based in particular on the methods already developed within the Images-Vision axis of the PRISME laboratory on 3D meshes which exploit both visual characteristics such as visual attention and deep learning [3, 4, 5, 6]. These tools should first be adapted to 3D point clouds. Then, to get as close as possible to the data handled, Graph Convolutional Networks (GCNs) will be used and adapted to our context. To validate the methods that will be developed, subjective tests will be carried-out to obtain the ground truth. Thus produced, this database will allow us to validate the methods developed but also to consider different scenarios and possibly diversify the type of data (regional, national and international). [1] Zhou Wang, Alan C. Bovik. « Modern image quality assessment » Morgan & Claypool Publishers, 2006 - 146 pages [2] MIT Course, 'Introduction to Deep Learning', http://introtodeeplearning.com/materials/2018_6S191_Lecture1.pdf [3] I. Abouelaziz, A. Chetouani, M. El Hassouni, L. Jan Latecki, H. Cherifi, « A convolutionnal neural network framework for blind mesh visual quality assessment», IEEE ICIP 2018 [4] I. Abouelaziz, A. Chetouani, M. El Hassouni, L. Jan Latecki, H. Cherifi, « 3D visual saliency and convolutional neural network for blind mesh quality assessment », Springer, Neural Computing and Applications, 2019 [5] M. Hamidi, A. Chetouani, M. El Haziti, M. El Hassouni, H. Cherifi, « Blind Robust 3-D Mesh Watermarking based on mesh Saliency and Wavelet Transform for Copyright Protection » MDPI Information, 2019 [6] I. Abouelaziz, A. Chetouani, M. El Hassouni, L. Jan Latecki, H. Cherifi, « No-Reference Mesh Visual Quality Assessment via Ensemble of Convolutional Neural Networks and Compact Multi-Linear Pooling », Elsevier, Pattern Recognition, 2020