Compression d'objets 3D représentés par nuages de points

par Chao Cao

Projet de thèse en Traitement du signal et des images

Sous la direction de Titus Zaharia et de Marius Preda.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec Télécom SudParis (France) (laboratoire) et de Télécom SudParis (établissement de préparation de la thèse) depuis le 01-12-2017 .


  • Résumé

    Avec la croissance rapide des usages multimédias immersives, les objets 3D deviennent de plus en plus populaires. Les objets 3D complexes sont typiquement modélisés sous la forme de maillages polygonaux ou de nuages de points denses. Ils sont aujourd'hui utilisés dans différentes applications industrielles et grand public. Les objets 3D sont obtenus en utilisant des outils de création tels que 3DSMAX, Blender, AutoCAD ou capturés par des caméras et des capteurs spécialement conçus. Un nuage de points est un ensemble de points dans l'espace 3D, chacun ayant des attributs associés, comme la couleur ou la réflectance. Les nuages de points peuvent être utilisés pour reconstruire un objet ou une scène. Ils peuvent être constitués de milliers jusqu'à des milliards de points pour représenter de manière réaliste des scènes reconstituées, ayant comme conséquence l'augmentation rapide de la taille et donc des difficultés de transmission et traitement. De nombreux travaux de recherche ont traité la compression des objets 3D, principalement sous la forme de maillage [1]. Traditionnellement, les maillages polygonaux (et les maillages triangulaires en particulier) ont été largement utilisés pour représenter des objets 3D. Dans le cas d'un maillage polygonal, des informations sur la géométrie et la topologie (connectivité) doivent être spécifiées. Ces dernières années, la représentation des modèles 3D basée sur des points 3D devient de plus en plus efficace pour la visualisation et le traitement en temps réel [2] et gagne en popularité grâce à plusieurs avantages. Notamment, le traitement de la connectivité n'est plus nécessaire, l'analyse et le rendu de ces objets étant facilités en absence des contraintes de connectivité. Les objets à topologie complexe peuvent être plus aisément représentés. En comparaison avec le maillage, la compression du nuage de points est beaucoup moins abordée dans la littérature, la méthode la plus connue étant la décomposition de l'espace en octree [3], une implémentation étant disponible en open source [4]. D'autres méthodes exploitent les représentations par ondelettes [5] ou des approches mixtes pour la compression de la géométrie et des attributs [6]. Cependant, des travaux récents suggère que les objets représentés comme des nuages des points peuvent être décomposés en utilisant des patches de surface locale qui peuvent être codés en utilisant des dictionnaires [7]. Ces patchs sont calculés de manière adaptative par rapport à l'erreur de reconstruction [8], ce qui conduit à un algorithme d'apprentissage de dictionnaire [9]. Cette approche fournit actuellement les meilleurs résultats en termes de taux de compression. L'analyse de l'état de l'art montre que les représentations par patch de surface offre les résultats les plus prometteurs aussi bien en termes de taux de compression que de flexibilité et d'adaptivité de la représentation. Les travaux de cette thèse s'inscriront dans ce cadre méthodologique et viseront à optimiser l'ensemble des étapes du processus et notamment la décomposition et le codage de chaque patch par des approches d'analyse fréquentielle. En effet, au lieu de calculer un dictionnaire qui est une opération très coûteuse, les patches locaux peuvent être représentés dans le domaine spectral et des méthodes spécifiques de quantification et de codage entropique peuvent être appliquées. Un autre volet qui sera abordé concerne la quantification des coefficients de transformée spectrale ainsi que l'adaptation d'un codeur entropique, afin de prendre en compte la distribution des coefficients spectraux. Les nouvelles méthodes de compression seront intégrées dans le système de reconstruction 3D déjà disponible dans le département ARTEMIS, http://www.mymultimediaworld.com:8088/gui/projects/.

  • Titre traduit

    Compression of 3D objects represented by point clouds


  • Résumé

    With the rapid growth of multimedia contents, 3D objects are becoming more and more popular in modern life. The complex 3D objects are typically modeled as polygonal meshes or dense point clouds. They are now used in different industrial and consumer multimedia applications. The 3D objects are obtained by using some authoring tools such as 3DSMAX, Blender, AutoCAD or captured by special designed cameras and sensors. A point cloud is a set of points in a 3D space each with associated attributes, e.g. color, material properties, etc. Point clouds can be used to reconstruct an object or a scene as a composition of such points. They can be made up of thousands up to billions of points to realistically represent reconstructed scenes which make the point cloud have extremely large size and are problematic for transmitting and processing. Many research works have forced on the compression of the 3D objects, mainly in the form of mesh1. Traditionally, polygonal meshes (and triangular meshes in particular) have been widely used to represent 3D objects. In a polygonal mesh, both its geometry and topology(connectivity) data have to be specified. In recent years, point-based 3D model representation shows more computational efficiency for real-time processing2 and gains more popularity with several advantages. For example, the triangulation overhead is saved, processing and rendering are facilitated without the connectivity constraint, and objects of complex topology can be more easily represented. Comparing to mesh, the compression of point cloud is much less addressed in the literature, the most known method is the decomposition of the space into octree3, the open source implementation is available in the library pcl4. There are other methods like wavelet based method5 or the mixed approach for compressing both geometry and attributes6. However, recent work has suggested that the decomposition of the objects can be separated into local surface patches and be encoded as overcomplete dictionary7. These patches can be calculated adaptively with relation to the reconstruction error8 which leads to a combined dictionary learning algorithm9 based on K-SVD and this approach currently provides the best results in terms of the ratio of compression. The future for 3D point cloud is extensive and with the appearance of new technologies like Virtual Reality, Augment Reality and Mixed Reality, it can be put into use within many fields. For example, point cloud data can be used in the field like protection of historical relics, modeling, commerce, gaming, fitness, etc. It also raises a lot of interests in medicine field, especially in surgery analysis and cancer detection in the early stage, in the context of robotics such as object detection and promotes the developments of other human intelligence technologies like face recognition and automatic driving. We are looking forward to experiencing the bright future of 3D point clouds.