Sémantisation à la volée de nuages de points 3D acquis par systèmes embarqués

par Xavier Roynard

Thèse de doctorat en Informatique temps réel, robotique, automatique

Sous la direction de François Goulette.

Soutenue le 03-06-2019

à Paris Sciences et Lettres (ComUE) , dans le cadre de Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris) , en partenariat avec Centre de robotique (Paris) (laboratoire) et de École nationale supérieure des mines (Paris) (établissement de préparation de la thèse) .

Le président du jury était Beatriz Marcotegui.

Le jury était composé de François Goulette, Jean-Emmanuel Deschaud, Martin Weinmann.

Les rapporteurs étaient Paul Checchin, Bruno Vallet.


  • Résumé

    Cette thèse se trouve à la confluence de deux mondes en pleine explosion : la voiture autonome et l’intelligence artificielle (particulièrement l’apprentissage profond). Le premier tirant profit du deuxième, les véhicules autonomes utilisent de plus en plus de méthodes d’apprentissage profond pour analyser les données produites par ses différents capteurs (dont les LiDARs) et pour prendre des décisions. Alors que les méthodes d’apprentissage profond ont révolutionné l’analyse des images (en classification et segmentation par exemple), elles ne produisent pas des résultats aussi spectaculaires sur les nuages de points 3D, en particulier parce que les jeux de scènes données de nuages de points 3D annotés sont rares et de qualité moyenne. On présente donc dans cette thèse un nouveau jeu de données réalisé par acquisition mobile pour produire suffisamment de données et annoté à la main pour assurer une bonne qualité de segmentation. De plus ces jeux de données sont par nature déséquilibrés en nombre d’échantillon par classe et contiennent beaucoup d’échantillons redondants, on propose donc une méthode d’échantillonnage adaptée à ces jeux de données. Un autre problème rencontré quand on essaye de classifier un point à partir de son voisinage sous forme de grille voxelique est le compromis entre un pas de discrétisation fin (pour décrire précisément la surface voisine du point) et une grille de taille élevée (pour aller chercher du contexte un peu plus loin). On propose donc également des méthodes de réseaux tirant profit de voisinages multi-échelles. Ces méthodes atteignent l’état de l’art des méthodes de classification par point sur des benchmarks publics. Enfin pour respecter les contraintes imposées par les systèmes embarqués (traitement en temps réel et peu de puissance de calcul), on présente une méthode qui permet de n’appliquer les couches convolutionnelles que là où il y a de l’information à traiter.

  • Titre traduit

    On-the-fly semantization of 3D point clouds acquired by embedded systems


  • Résumé

    This thesis is at the confluence of two worlds in rapid growth: autonomous cars and artificial intelligence (especially deep learning). As the first takes advantage of the second, autonomous vehicles are increasingly using deep learning methods to analyze the data produced by its various sensors (including LiDARs) and to make decisions. While deep learning methods have revolutionized image analysis (in classification and segmentation for example), they do not produce such spectacular results on 3D point clouds. This is particularly true because the datasets of annotated 3D point clouds are rare and of moderate quality. This thesis therefore presents a new dataset developed by mobile acquisition to produce enough data and annotated by hand to ensure a good quality of segmentation. In addition, these datasets are inherently unbalanced in number of samples per class and contain many redundant samples, so a sampling method adapted to these datasets is proposed. Another problem encountered when trying to classify a point from its neighbourhood as a voxel grid is the compromise between a fine discretization step (for accurately describing the surface adjacent to the point) and a large grid (to look for context a little further away). We therefore also propose network methods that take advantage of multi-scale neighbourhoods. These methods achieve the state of the art of point classification methods on public benchmarks. Finally, to respect the constraints imposed by embedded systems (real-time processing and low computing power), we present a method that allows convolutional layers to be applied only where there is information to be processed.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Paris Sciences et Lettres. Thèses électroniques.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.