Estimation de pose globale et suivi pour la localisation RGB-D et cartographie 3D

Global pose estimation and tracking for RGB-D localization and 3D mapping

• Auteur / Autrice : Fernando Israel Ireta Munoz
• Direction : Andrew Ian Comport
• Type : Thèse de doctorat
• Discipline(s) : Automatique, traitement du signal et des images
• Date : Soutenance le 04/04/2018
• Etablissement(s) : Université Côte d'Azur (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Sophia Antipolis, Alpes-Maritimes)
• Partenaire(s) de recherche : établissement de préparation : Université de Nice (1965-2019)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique, signaux et systèmes (Sophia Antipolis, Alpes-Maritimes) - Signal, Images et Systèmes
• Jury : Président / Présidente : Christian Laugier
• Jury : Examinateurs / Examinatrices : Christian Laugier, Pascal Vasseur, Youcef Mezouar, Jonghyuk Kim, Jean-Bernard Hayet
• Jury : Rapporteurs / Rapporteuses : Pascal Vasseur, Youcef Mezouar, Jonghyuk Kim

Mots clés

Mots clés contrôlés

Cartographie

Reconstruction d'image

Recalage d'images

Mots clés libres

Point-to-hyperplane

SLAM

Localisation

Cartographie

Point-to-hyperplane

SLAM

Localization

Mapping

Résumé

Ce rapport de thèse présente une analyse détaillée de nouvelles techniques d'estimation de pose à partir des images de couleur et de profondeur provenant de capteurs RGB-D. Etant donné que l'estimation de la pose nécessite d'établir une cartographie en simultanée, la reconstruction 3D de la scène sera aussi étudié dans cette thèse. La localisation et la cartographie ont été largement étudiés par la communauté de robotique et de vision par ordinateur, et ces techniques ont aussi été largement employés pour la robotique mobile et les systèmes autonomes afin d'exécuter des tâches telles que le suivi de caméra, la reconstruction 3D dense ou encore la localisation robuste. Le défi de l'estimation de pose réside dans la façon de relier les mesures des capteurs pour estimer l'état système en position et en orientation. Lorsqu'une multitude de capteurs fournisse différentes observations des mêmes variables, il devient alors complexe de fusionner au mieux ces informations acquises à des instants différents. De manière à développer un algorithme efficace pour traiter ces problèmes, une nouvelle méthode de recalage nommée Point-to-hyperplane sera introduite, analysée, comparée et appliquée à l'estimation de pose et à la cartographie basée sur des frames-clés. La méthode proposée permet de minimiser différentes métriques sous la forme d'un seul vecteur de mesure en n-dimensions, sans avoir besoin de définir un facteur d'échelle qui pondère l'influence de chaque terme durant la minimisation d'énergie. Au sein du concept Point-to-hyperplane, deux lignes principales ont été examinées. Premièrement, la méthode proposée sera employée dans des applications d'odométrie visuelle et de cartographie 3D. Compte-tenu des résultats expérimentaux, il a été montré que la méthode proposée permet d'estimer la pose localement avec précision en augmentant le domaine et la vitesse de convergence. L'invariance est mathématiquement prouvée et des résultats sont fournis à la fois pour environnements réels et synthétiques. Deuxièmement, une méthode pour la localisation globale a été proposée qui adresse les problèmes de reconnaissance et de détection de lieux. Cette méthode s'appuie sur l'utilisation du Point-to-hyperplane combinée à une optimisation Branch-and-bound pour estimer la pose globalement. Étant donné que les stratégies de Branch-and-Bound permettent d'obtenir des alignements grossiers sans la nécessité d'avoir la pose initiale entre les images, le Point-tohyperplane peut être utiliser pour raffiner l'estimation. Il sera démontré que cette stratégie est mieux contrainte quand davantage de dimensions sont utilisées. Cette stratégie s'avère être utile pour résoudre les problèmes de désalignement et pour obtenir des cartes 3D globalement consistantes. Pour finir cette thèse et pour démontrer la performance des méthodes proposées, des résultats sur des applications de SLAM visuel et de cartographie 3D sont présentés.

This thesis presents a detailed account of novel techniques for pose estimation by using both, color and depth information from RGB-D sensors. Since pose estimation simultaneously requires an environment map, 3D scene reconstruction will also be considered in this thesis. Localization and mapping has been extensively studied by the robotics and computer vision communities and it is widely employed in mobile robotics and autonomous systems for performing tasks such as tracking, dense 3D mapping and robust localization. The central challenge of pose estimation lies in how to relate sensor measurements to the state of position and orientation. When a variety of sensors, which provide different information about the same data points, are available, the challenge then becomes part of how to best fuse acquired information at different times. In order to develop an effective algorithm to deal with these problems, a novel registration method named Point-to-hyperplane Iterative Closest Point will be introduced, analysed, compared and applied to pose estimation and key-frame mapping. The proposed method allows to jointly minimize different metric errors as a single measurement vector with n-dimensions without requiring a scaling factor to tune their importance during the minimization process. Within the Point-to-hyperplane framework two main axes have been investigated. Firstly, the proposed method will be employed for performing visual odometry and 3D mapping. Based on actual experiments, it has been shown that the proposed method allows to accurately estimate the pose locally by increasing the domain of convergence and by speeding up the alignment. The invariance is mathematically proven and results in both, simulated and real environments, are provided. Secondly, a method is proposed for global localization for enabling place recognition and detection. This method involves using the point-to-hyperplane methods within a Branch-and-bound architecture to estimate the pose globally. Therefore, the proposed method has been combined with the Branch-and-bound algorithm to estimate the pose globally. Since Branch-and-bound strategies obtain rough alignments regardless of the initial position between frames, the Point-to-hyperplane can be used for refinement. It will be demonstrated that the bounds are better constrained when more dimensions are considered. This last approach is shown to be useful for solving mistracking problems and for obtaining globally consistent 3D maps. In a last part of the thesis and in order to demonstrate the proposed approaches and their performance, both visual SLAM and 3D mapping results are provided.