Contributions to graph-based hierarchical analysis for images and 3D point clouds

par Leonardo Gigli

Thèse de doctorat en Morphologie mathématique

Sous la direction de Beatriz Marcotegui.

Soutenue le 23-03-2021

à l'Université Paris sciences et lettres , dans le cadre de Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique , en partenariat avec École nationale supérieure des mines (Paris) (établissement de préparation de la thèse) et de Centre de morphologie mathématique (Fontainebleau, Seine et Marne) (laboratoire) .

Le président du jury était Sébastien Lefèvre.

Le jury était composé de Beatriz Marcotegui, Jesús Angulo López, Benjamin Perret, Bangalore Ravi Kiran, Santiago Velasco-Forero.

Les rapporteurs étaient Pierre Soille, Antonio Plaza.

mots clés

• Théorie de graphes
• Hiérarchies
• Segmentation
• Traitement d'images
• Apprentissage
• Morphologie mathématique
• Traitement d'images

Titre traduit

Contributions à l'analyse hiérarchique basée sur des graphes pour les images et les nuages de points 3D

Résumé

Les graphes sont de puissantes structures mathématiques représentant un ensemble d’objets et les relations sous-jacentes entre eux. Ils sont de plus en plus populaires, en particulier dans l’analyse hiérarchique des images ou des nuages de points 3D. Les hiérarchies sont très répandues car elles nous permettent d’organiser efficacement l’information et d’analyser les problèmes à différents niveaux de détail. Dans cette thèse, nous abordons les sujets suivants : De nombreuses approches hiérarchiques morphologiques s’appuient sur l’arbre de poids minimum (MST). Nous proposons un algorithme pour le calcul du MST en streaming reposant sur une stratégie de décomposition des graphes. Grâce à cette décomposition, des images plus grandes peuvent être traitées ou peuvent bénéficier d’une information partielle fiable alors que l’image entière n’est pas encore disponible. Les récents développements du lidar permettent d’acquérir des nuages de points 3D précis et à grande échelle. De nombreuses applications, telles que la surveillance des infrastructures, l’urbanisme, la conduite autonome, l’agriculture de précision, pour n’en citer que quelques-unes, sont en cours de développement. Nous introduisons un algorithme de détection du sol et le comparons à l’état de l’art. L’impact de la réduction de la densité des nuages de points avec des scanners à faible coût est étudié. Enfin, dans de nombreuses méthodes hiérarchiques, les similarités entre les points sont données en entrée. Cependant, la métrique utilisée pour calculer les similitudes influence la qualité des résultats. Nous abordons l’apprentissage de la métrique comme un outil complémentaire qui contribue à améliorer la qualité des hiérarchies. Nous démontrons les capacités de ces méthodes dans deux contextes. Le premier, une classification de la texture des surfaces 3D, classée deuxième dans une tâche du défi international SHREC’20. Le second permet d’apprendre la fonction de similarité ainsi que la hiérarchie optimale, dans une formulation continue dans l’espace des caractéristiques

mots clés

• Graph Theory
• Hierarchical clustering
• Segmentation
• Image processing
• Machine Learning
• Point Clouds

Résumé

Graphs are powerful mathematical structures representing a set of objects and the underlying links between pairs of objects somehow related. They are becoming increasingly popular in data science in general and in particular in image or 3D point cloud analysis. Among the wide spectra of applications, they are involved in most of the hierarchical approaches.Hierarchies are particularly important because they allow us to efficiently organize the information required and to analyze the problems at different levels of detail. In this thesis, we address the following topics. Many morphological hierarchical approaches rely on the Minimum Spanning Tree (MST). We propose an algorithm for MST computation in streaming based on a graph decomposition strategy. Thanks to this decomposition, larger images can be processed or can benefit from partial reliable information while the whole image is not completely available.Recent LiDAR developments are able to acquire large-scale and precise 3D point clouds. Many applications, such as infrastructure monitoring, urban planning, autonomous driving, precision forestry, environmental assessment, archaeological discoveries, to cite a few, are under development nowadays. We introduce a ground detection algorithm and compare it with the state of the art. The impact of reducing the point cloud density with low-cost scanners is studied, in the context of an autonomous driving application. Finally, in many hierarchical methods similarities between points are given as input. However, the metric used to compute similarities influences the quality of the final results. We exploit metric learning as a complementary tool that helps to improve the quality of hierarchies. We demonstrate the capabilities of these methods in two contexts. The first one,a texture classification of 3D surfaces. Our approach ranked second in a task organized by SHREC’20 international challenge. The second one learning the similarity function together with the optimal hierarchical clustering, in a continuous feature-based hierarchical clustering formulation.