De l'analyse visuelle à l'analyse sémantique pour la navigation autonome de véhicules

par Emir Hrustic

Projet de thèse en Informatique et Télécommunications

Sous la direction de Éric Chaumette et de Damien Vivet.

Thèses en préparation à Toulouse, ISAE , dans le cadre de École doctorale Mathématiques, informatique et télécommunications (Toulouse) , en partenariat avec ISAE-ONERA SCANR Signal communication Antennes Navigation Radar (laboratoire) et de ISAE/DEOS/SCAN - Signal, Communication, Antennes, Navigation (equipe de recherche) depuis le 04-12-2017 .


  • Résumé

    Les travaux actuels dans le domaine de la navigation autonome s'intéressent principalement à l'étude d'algorithmes de localisation sur la base d'hybridation multi-capteurs ou d'approche de type localisation et cartographie simultanées (SLAM). Aujourd'hui des méthodes bien connues et assez fiables existent comme par exemple ORB-SLAM, SVO, PTAM. L'ensemble de ces méthodes peut être considéré comme des approches « bas niveau » dans le sens où l'interprétation de la scène reste très limitée. En effet, celle-ci est représentée par des nuages de points 3D ou au mieux des amers géométriques.Il est à noter qu'avec le machine learning et plus récemment l'engouement pour le Deep-Learning, des techniques d'analyse d'image émergent avec l'extraction d'objets statiques ou mobiles (détection de piétons, de panneaux, de marquages au sol. Ces approches restent cependant encore décorrélées de l'étape de navigation à proprement parlé. L'ambition de ce projet est d'intégrer les couches d'analyse de scène dans le cadre de la navigation autonome, à savoir intégrer les informations sémantiques dans l'étape de calcul de position. Nous souhaitons donc mettre en place une cartographie d'objets, dite sémantique, qu'ils soient routiers (panneau, feux, marquages au sol particuliers...), urbains (enseignes de magasin...) et éventuellement d'événements (accidents, travaux, déviations...). Ce type de cartographie permettra la navigation par amers visuels de haut niveau bien plus robustes dans le temps mais également plus facilement détectable en cas de variation de luminosité (jour nuit). Ce projet se situe ainsi à l'intersection de diverses thématiques : - L'apprentissage automatique, l'analyse d'image et la détection d'objets - La localisation par vision (odométrie visuelle, hybridation) - La cartographie sémantique géolocalisée (SLAM+GNSS)

  • Titre traduit

    From Visual to semantic analysis for UGV navigation


  • Résumé

    Current research works in the field of autonomous navigation focus mainly in the study of localisation and mapping algorithms based on hybridization of multiple sensors. Today, some efficient technic works such as ORB-SLAM, SVO, PTAM. All these methods can be considered as « low-level » approaches as the scene understanding is very limited. Indeed the scene is represented as a 3D point cloud without any semantic information. Let's note that with machine learning and Deep Learning, some scene analysis technics are emerging with object detection and recognition (pedestrian detection, traffic signs, zebras. Nevertheless, such approaches are still decorrelated from the navigation step. The ambition of this project is to integrate the scene analyse step in the framework of the autonomous navigation, that means to integrate semantic information in the position processing step. We aim to build a semantic urban object mapping (traffic signs, traffic lights, zebras, shops...) and event mapping (works, deviation, crashes...). Such a mapping will allow to based the navigation on high level landmarks more robust in time and in environment changing conditions (day, night, rain, fog...) This project is at the intersection of multiple fields: - Automatic machine learning, image understanding and object detection - Vision based localisation (visual odometry, hybridization) - Geolocalized semantic mapping (SLAM+GNSS)