Segmentation sémantique des nuages de points du patrimoine bâti : une approche multi-vues

A multiview approach for the semantic segmentation of heritage building point clouds

• Auteur / Autrice : Eugenio Pellis
• Direction : Pierre Grussenmeyer, Grazia Tucci
• Type : Thèse de doctorat
• Discipline(s) : Géomatique-Informatique
• Date : Soutenance le 25/09/2023
• Etablissement(s) : Strasbourg en cotutelle avec Università degli Studi di Firenze
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Pierre Charbonnier
• Jury : Examinateurs / Examinatrices : Andrea Masiero, Michele Betti
• Jury : Rapporteurs / Rapporteuses : Pierre Charbonnier, Gabriele Milani

Mots clés

Mots clés contrôlés

Nuages de points

Patrimoine culturel

Modélisation des données du bâtiment

Géomatique

Mots clés libres

H-BIM

Nuage de Points

Segmentation Sémantique

AI

Deep Learning

Approche Multi-vues

H-BIM

Point Clouds

Semantic Segmentation

AI

Deep Learning

Multiview Approach

Résumé

Cette thèse aborde la numérisation du patrimoine culturel en utilisant les méthodes de modélisation des données de bâtiments (BIM) et de modélisation des données du patrimoine bâti (H-BIM) comme un puissant outil pour la conservation et la préservation. Elle se concentre sur le processus « Scan-to-BIM », qui rencontre des défis dans la gestion des données à grande échelle issues des technologies d'acquisition modernes comme le balayage laser 3D et la photogrammétrie. La thèse vise à automatiser certaines étapes du processus « Scan-to-BIM », en mettant l'accent sur la segmentation sémantique des nuages de points. Les recherches s'appuient sur les avancées de l'intelligence artificielle et de l'apprentissage profond pour améliorer le processus de segmentation du patrimoine bâti en utilisant une approche multi-vues. Trois contributions principales sont mises en avant dans la thèse. La création d'un jeu de données image-point3D pour la segmentation sémantique du patrimoine bâti, comprenant des scènes de nuages de points de bâtiments et des images photogrammétriques avec une segmentation de référence. Ensuite, l’entrainement, l’expérimentation et la comparaison de trois architectures de segmentation d'images reconnus (Fully Convolutional Network, SegNet et Deeplabv3+) sur le nouveau jeu de données. Enfin, le développement et le test d'une procédure de projection de données annotées, basée sur le principe du vote majoritaire, pour transférer les étiquettes générées par le réseau profond vers le nuage de points, aboutissant à une scène segmentée en 3D. Malgré le nombre limité de typologies de bâtiments dans le jeu de données, les résultats sont prometteurs, indiquant une amélioration de l'automatisation et de la fonctionnalité dans la préservation et la gestion du patrimoine bâti grâce à des modèles 3D.

This dissertation addresses the need for digitizing cultural heritage using Building Information Modeling (BIM) and Heritage Building Information Modeling (H-BIM) as a powerful tool for conservation and preservation. It focuses on the Scan-to-BIM process, which faces challenges in handling large-scale data from modern acquisition technologies like 3D laser scanning and photogrammetry. The study aims to improve automation in the Scan-to-BIM pipeline, particularly in semantic segmentation, which involves categorizing raw point cloud data for machine understanding. The research leverages advancements in artificial intelligence and deep learning to enhance the segmentation process for heritage buildings leveraging on a multiview approach. Three main contributions are highlighted in the dissertation. The creation of a novel image-3Dpoint dataset for heritage building semantic segmentation, including building point cloud scenes and photogrammetric images with ground truth segmentation. Secondly, the training, testing, and comparison of three state-of-the-art image segmentation architectures (Fully Convolutional Network, SegNet, and Deeplabv3+) on the new dataset. Finally, the development and testing of a labeling projection procedure, based on the majority vote principle, to transfer deep network-generated labels to the point cloud, resulting in a 3D segmented scene. Despite the limited number of building typologies in the dataset, the results show promise, indicating improved automation and functionality in the preservation and management of heritage buildings through 3D models.