Conception d'un système de localisation multi-capteurs dédié aux drones en milieux extérieurs inconnus

par Quentin Pentek

Projet de thèse en Informatique

Sous la direction de Christophe Fiorio et de Olivier Strauss.

Thèses en préparation à Montpellier , dans le cadre de École Doctorale Information, Structures, Systèmes (Montpellier ; 2015) , en partenariat avec Laboratoire d'Informatique, Robotique et Micro-électronique de Montpellier (laboratoire) et de Département Informatique (equipe de recherche) depuis le 13-02-2017 .


  • Résumé

    Au cours des dernières années, plusieurs solutions multi-capteurs ont été présentées pour des algorithmes SLAM appliqués aux drones [1-5]. Cependant, on trouve très peu de travaux dans lesquels les données visuelles et laser sont directement associées pour résoudre la problématique du SLAM. Par exemple, dans [6] les données du LiDAR et de l'IMU sont fusionnées pour estimer la position à 6 ddl (degré de liberté) du robot, tandis que la vision est utilisée uniquement pour la fermeture de boucle de la carte obtenue. Dans [7], les données visuelles et laser sont utilisées, mais pour résoudre séparément la problématique de l'odométrie en environnement extérieur et intérieur. Dans [8], la position du drone est estimée séparément à partir des données du LiDAR et de la photo, puis sont fusionnées dans un EKF (Extended Kalman Filter) pour une estimation à 6 ddl plus robuste. L'algorithme fonctionne cependant sur un poste de contrôle à distance, en raison de la haute exigence des ressources de calcul. L'objectif principal de cette thèse est d'étudier le problème de localisation en temps réel d'un drone lors de la navigation de celui-ci dans des environnements extérieurs et inconnus, lorsque le signal GPS est indisponible. L'idée clé est de tirer profit des informations complémentaires du LiDAR et des images en fusionnant les données visuelles et du laser en un seul flux de données. Des travaux prometteurs ont récemment été réalisés dans lesquels l'information de profondeur du LiDAR combinée avec les images permet une localisation de véhicules terrestres en temps réel et à faible dérive [9], [10]. La clé pour un SLAM efficace est une précise estimation à 6 ddl de la position du drone, habituellement obtenue par un robuste « frame tracking ». La plupart des algorithmes SLAM utilisent des méthodes « feature-based », car étant longuement étudiées en vision par ordinateur, mais des méthodes directes, basé sur l'intensité de l'image [11], [12] ou des stratégies d'apprentissage « en-ligne » pour déterminer les similitudes entre des zones caractéristiques sur plusieurs images [13] ont montré des résultats prometteurs et pourraient être étudiées plus en profondeur dans le cadre de cette thèse. Ce travail se concentrera sur la partie algorithmique du problème. Des drones commerciaux seront utilisés pour les essais et des systèmes multi-capteurs calibrés, composés de LiDAR et des caméras pour la fusion des données, seront fournis par le Fraunhofer IPM. Bibliographie [1] M. Sanfourche, A. Plyer, A. Bernard-Brunel, G. Le Besnerais, “3DSCAN: Online Ego-Localization and Environment Mapping for Micro Aerial Vehicles,” 2014 [2] D. Serrano, M. Uijt de Haag, E. Dill, S. Vilardaga, P. “Phil” Duan, “Seamless indoor-outdoor navigation for unmanned multi-sensor aerial platforms,” The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014 [3] M. Achtelik, S. Lynen, S. Weiss, L. Kneip, M. Chli, R. Siegwart, “Visual-inertial SLAM for a small helicopter in large outdoor environments,” Proceedings IEEE Conference on Intelligent Robots and Systems (IROS), pp. 2651–2652, 2012 [4] R. Li, J. Liu, L. Zhang, Y. Hang, “LIDAR/MEMS IMU integrated navigation (SLAM) method for a small UAV in indoor environments,” Inertial Sensors and Systems, 2014 [5] Benjamin Adler, “System Design and Real-Time Guidance of an Unmanned Aerial Vehicle for Autonomous Exploration of Outdoor Environments,” Ph.D. thesis, 2014 [6] S. Shen, N. Michael, V. Kumar, “Autonomous Multi-Floor Indoor Navigation with a Computationally Constrained MAV,” International Conference on Robotics and Automation, 2011 [7] T. Tomic, K. Schmid, P. Lutz, A. Domel, “Toward a fully autonomous UAV,” In: IEEE Robotics & Automation Magazine, 2012 [8] E. López, R. Barea, A. Gómez, A. Saltos, L. M. Bergasa, E. J. Molinos and A. Nemra, “Indoor SLAM for Micro Aerial Vehicles Using Visual and Laser Sensor Fusion, “ Robot 2015: Second Iberian Robotics Conference, Advances in Intelligent Systems and Computing, vol. 417, pp 531-542, 2015 [9] J. Zhang, S. Singh, “Visual-lidar Odometry and Mapping: Low-drift, Robust, and Fast,” In: Intl. Conf. on Robotics and Automation (ICRA), 2015 [10] A. Tamjidi and C. Ye, “6-DOF Pose Estimation of an Autonomous Car by Visual Feature Correspondence and Tracking,” International Journal of Intelligent Control and Systems, Vol. 17, No. 3, 2012 [11] J. Engel, J. Sturm, D. Cremers, “Semi-dense visual odometry for a monocular camera,” In: Intl. Conf. on Computer Vision (ICCV), 2013 [12] C. Forster, M. Pizzoli, D. Scaramuzza, “SVO: Fast semi-direct monocular visual Odometry,” In: Intl. Conf. on Robotics and Automation (ICRA), 2014 [13] S. Hinterstoisser, V. Lepetit, S. Benhimane, P. Fua, N. Navab, “Learning Real-Time Perspective Patch Rectification,” International Journal of Computer Vision, 2011

  • Titre traduit

    Design of a Multi-Sensor System for Unmanned Aerial Vehicle Localization in Outdoor and Unknown Environments


  • Résumé

    In recent past years, several multi-sensor solutions have been presented for SLAM algorithm on UAVs [1-5]. However, there are very few works in which both laser and vision data are directly associated to solve the SLAM problem. For example, in [6] laser and IMU are fused to estimate the 6DOF (degree of freedom) position of the robot, while vision is only used for loop closing in the obtained map. In [7] laser and vision are used, but to solve separately the outdoors and indoors odometry problem. In [8], pose estimates are separately computed from laser and visual data and then fused in an EKF for a robust 6DOF pose estimation of the vehicle. The algorithm, however, runs on a remote control station because of the high requirement in computational resources. The main objective of this thesis is to study the issues of real-time vehicle pose estimation while navigating a UAV in outdoor and unknown environments when GPS is unavailable. The key idea is to take advantage of complementary information from LiDAR and imagery and fuse visual and laser data in a single data stream, in order to achieve fast and robust pose and motion estimation. Promising work has been recently achieved using depth information of LiDAR combined with visual data on ground robots for real-time and low-drift pose estimation [9], [10]. The key point for efficient SLAM is precise 6DOF pose estimation usually achieved through robust frame tracking. Most of SLAM algorithms use feature-based methods because they have been a long-studied subject in computer vision, but direct methods based on image intensity [11], [12] or online learning strategies to determine similarities between features [13] have shown promising results and could be explored more in depth in the frame of this thesis. This work will focus on the algorithmic side of the problem statement. Commercial UAVs will be used for testing and calibrated multi-sensor systems composed of LiDAR and cameras for data fusion will be provided by the Fraunhofer IPM. References [1] M. Sanfourche, A. Plyer, A. Bernard-Brunel, G. Le Besnerais, “3DSCAN: Online Ego-Localization and Environment Mapping for Micro Aerial Vehicles,” 2014 [2] D. Serrano, M. Uijt de Haag, E. Dill, S. Vilardaga, P. “Phil” Duan, “Seamless indoor-outdoor navigation for unmanned multi-sensor aerial platforms,” The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014 [3] M. Achtelik, S. Lynen, S. Weiss, L. Kneip, M. Chli, R. Siegwart, “Visual-inertial SLAM for a small helicopter in large outdoor environments,” Proceedings IEEE Conference on Intelligent Robots and Systems (IROS), pp. 2651–2652, 2012 [4] R. Li, J. Liu, L. Zhang, Y. Hang, “LIDAR/MEMS IMU integrated navigation (SLAM) method for a small UAV in indoor environments,” Inertial Sensors and Systems, 2014 [5] Benjamin Adler, “System Design and Real-Time Guidance of an Unmanned Aerial Vehicle for Autonomous Exploration of Outdoor Environments,” Ph.D. thesis, 2014 [6] S. Shen, N. Michael, V. Kumar, “Autonomous Multi-Floor Indoor Navigation with a Computationally Constrained MAV,” International Conference on Robotics and Automation, 2011 [7] T. Tomic, K. Schmid, P. Lutz, A. Domel, “Toward a fully autonomous UAV,” In: IEEE Robotics & Automation Magazine, 2012 [8] E. López, R. Barea, A. Gómez, A. Saltos, L. M. Bergasa, E. J. Molinos and A. Nemra, “Indoor SLAM for Micro Aerial Vehicles Using Visual and Laser Sensor Fusion, “ Robot 2015: Second Iberian Robotics Conference, Advances in Intelligent Systems and Computing, vol. 417, pp 531-542, 2015 [9] J. Zhang, S. Singh, “Visual-lidar Odometry and Mapping: Low-drift, Robust, and Fast,” In: Intl. Conf. on Robotics and Automation (ICRA), 2015 [10] A. Tamjidi and C. Ye, “6-DOF Pose Estimation of an Autonomous Car by Visual Feature Correspondence and Tracking,” International Journal of Intelligent Control and Systems, Vol. 17, No. 3, 2012 [11] J. Engel, J. Sturm, D. Cremers, “Semi-dense visual odometry for a monocular camera,” In: Intl. Conf. on Computer Vision (ICCV), 2013 [12] C. Forster, M. Pizzoli, D. Scaramuzza, “SVO: Fast semi-direct monocular visual Odometry,” In: Intl. Conf. on Robotics and Automation (ICRA), 2014 [13] S. Hinterstoisser, V. Lepetit, S. Benhimane, P. Fua, N. Navab, “Learning Real-Time Perspective Patch Rectification,” International Journal of Computer Vision, 2011