Analyse hybrides de scènes urbaines à partir d'images et de scans laser de cartographie mobile

par Mohamed Boussaha

Projet de thèse en Sciences et Technologies de l'Information Géographique

Sous la direction de Bruno Vallet.

Thèses en préparation à Paris Est , dans le cadre de MSTIC : Mathématiques et Sciences et Technologies de l'Information et de la Communication , en partenariat avec LaSTIG -Laboratoire en Sciences et Technologies de l'Information Géographique (laboratoire) depuis le 16-11-2016 .


  • Résumé

    Pour travailler conjointement avec des images orientées et balayages laser acquises par un système de cartographie mobile, l'exigence première est que les deux données sont parfaitement alignés. Une première tâche de la thèse sera de construire une représentation de maillage 3D à partir des scans laser mobiles en adaptant une méthode de reconstruction de l'état de l'art. Les images RGB seront ensuite fusionnées en une texture de maille en choisissant la meilleure image à projeter sur chaque triangle en fonction de la visibilité, la résolution et la régularité des critères. Une fois que ceci est fait, une classification sémantique devra être effectuée sur la représentation du maillage texturé en profitant de la photométrie et la géométrie de la scène. En se fondant sur une analyse plus approfondie de l'état de l'art dans l'apprentissage de la machine et la vision par ordinateur, différentes approches seront sélectionnées, mises en œuvre et comparés sur les bases de données représentatives disponibles. Un focus particulier sera fait sur les méthodes d'apprentissage profondes récentes et prometteuses basées sur DCNN (Deep convolution Neural Networks) et sur l'utilisation de CNN pré-formé construit à partir de bases de données génériques. Sur la base de cette étude de comparaison, la méthode la plus appropriée sera sélectionnée et validée sur la base de données IGN. Enfin, la thèse étudiera la hausse des représentations au niveau de la scène tels que: - segmentation sémantique: la scène est segmenté en objets individuels avec des étiquettes sémantiques (arbres, voitures, bâtons). - graphique de la relation: en outre, un graphique peut être construit pour coder les relations géométriques entre ces objets (dessus, dessous, à l'avant, entre, ...)

  • Titre traduit

    Hybrid urban scene analysis from mobile mapping images and laser scan


  • Résumé

    To work jointly with oriented images and laser scans acquired by a mobile mapping system, the first requirement is that both data are perfectly aligned. A first task of the PhD will be to build a 3D mesh representation from the mobile laser scans by adapting a reconstruction method from the state of the art. The RGB images will then be merged into a mesh texture by choosing the best image to project on each triangle based on visibility, resolution and regularity criteria. Once this is done, a semantic classification will have to be performed on the textured mesh representation taking advantage of the photometry and the geometry of the scene. Relying on a deeper analysis of the state of the art in machine learning and computer vision, different approaches will be selected, implemented and compared on available representative databases. A particular focus will be done on the recent and promising deep learning methods based on DCNN (Deep Convolutional Neural Networks) and on the use of pre-trained CNN built from generic databases. Based on this comparison study, the most appropriate method will be selected and validated on the IGN database. Finally, the PhD will investigate higher level representations of the scene such as : | Semantic segmentation : the scene is segmented into individual objects with semantic labels (trees, cars, poles). | Relationship graph : in addition, a graph can be constructed to encode the geometric relationships between these objects (above, below, in front, between, ...)