Segmentation et classification des scènes routières par analyse de données LIDAR, couleurs et images multispectrales

par Leonardo Gigli

Projet de thèse en Morphologie mathématique

Sous la direction de Beatriz Marcotegui et de Santiago Velasco forero.

Thèses en préparation à Paris Sciences et Lettres , dans le cadre de Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique , en partenariat avec Mathématiques et Systèmes (laboratoire) , CMM - Centre de Morphologie Mathématique (equipe de recherche) et de École nationale supérieure des mines (Paris) (établissement de préparation de la thèse) depuis le 16-10-2017 .


  • Résumé

    1. Contexte Ces dernières années, des améliorations ont été apportées à la fréquence d'images, à la précision, au coût et à la taille des capteurs 3D, y compris les systèmes basés sur la vision stéréoscopique, le temps de lumière et la lumière structurée. Ces développements passionnants ont suscité un intérêt croissant dans l'industrie et le monde universitaire pour les défis et les opportunités qu'offre la détection 3D en temps réel. Pour la cartographie mobile 3D, Mines ParisTech a développé une technique de cartographie mobile, intégrée dans une plateforme appelée L3D2. Le L3D2 est un véhicule équipé d'un système de localisation géographique précis (GPS, IMU), d'un scanner laser fixé à l'arrière du véhicule et de caméras vidéo. Ce dispositif permet de collecter des nuages de points 3D provenant d'environnements urbains et routiers, décrivant avec précision les éléments présents le long des trajets parcourus. Les modèles 3D des scènes numérisées sont obtenus après traitement des nuages de points acquis. Cependant, de nombreuses caractéristiques importantes pour classifier les éléments de la scène ne peuvent pas être acquises uniquement par le biais de descripteurs de taille/forme[5]. L'étude de l'imagerie multimodale sur les nuages de points 3D est la principale motivation de cette thèse. Dans le passé, la fusion des données de télédétection hyperspectrale et LIDAR et le point nuageux 3D texturé pour la récupération d'objets 3D ont été explorés, mais il n'y a pas eu d'études antérieures sur les modèles 3D, y compris l'information multispectrale pour les environnements urbains. 2. But de la thèse Dans cette thèse, nous envisageons d'explorer l'analyse robuste du nuage de points 3D en incluant les composantes spectrales des caméras multispectrales et hyperspectrales. L'apport de cette thèse est double: d'une partie, le développement de la recherche sur les méthodes de clustering et de classification supervisée de modèles 3D avec spectrale en mettant en évidence l'interaction entre les caractéristiques de taille et de forme et les caractéristiques spectrales. D'autre partie, le filtrage linéaire et morphologique sur les points 3D sera étudié en tant qu'outil permettant de développer des caractéristiques pertinentes et interprétatives pour les méthodes de reconnaissance de formes.

  • Titre traduit

    Segmentation and classification of road scenes by analysis of LIDAR data, color and multi-spectral images


  • Résumé

    1. Context The past few years have seen improvements in the frame rate, accuracy, cost, and size of 3D sensors, including systems based on stereo vision, time-of-light,structured light, and depth-from-X methods. These exciting developments have sparked increasing interest in industry and academia in the challenges and opportunities afforded by real-time 3D sensing. For 3D mobile mapping Mines ParisTech has developed a technique for mobile mapping, integrated in a platform called L3D2 [1]. L3D2 is a vehicle equipped with a precise geographical location system (GPS, IMU), a laser scanner attached to the rear of the vehicle, and video cameras. This device makes it possible to collect 3D point clouds from urban and road environments, describing with precision the elements present along the traveled paths. 3D models of the scanned scenes are obtained after processing the acquired point clouds. However, many relevant features to classify elements in the scene cannot be acquired only via size/shape descriptors [5]. The study of multi-modality imaging on 3D point clouds is the main motivation of this thesis. In the past, fusion of hyperspectral and LIDAR remote sensing data [2], and textured 3d cloud point for retrieval of 3D objects [3], have been explored, but there are not previous studies of 3D models including multispectral information for urban environments. 2. Goal In this thesis, we are planning to explore robust analysis of 3D point cloud by including spectral components from multispectral and hyperspectral cameras. The contribution of this thesis is twofold: On one hand, the development of methods for clustering and supervised classification of 3D models with spectral information by highlighting interaction between size/shape features and spectral ones. In the other hand, linear and morphological filtering on 3D points will be study as a tool to develop relevant and interpretative features for pattern recognition methods.