Vers un système multimodal de fermeture de boucle pour des applications SLAM embarquées et temps réel

Towards a Multimodal Loop Closure System for Real-Time Embedded SLAM Applications

• Auteur / Autrice : Mohammed Chghaf
• Direction : Abdelhafid Elouardi, Sergio Alberto Rodríguez Flórez
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 19/10/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Systèmes et applications des technologies de l'information et de l'énergie (Gif-sur-Yvette, Essonne ; 2002-....)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l’ingénierie et des systèmes (2020-….)
• Jury : Président / Présidente : Smaïl Niar
• Jury : Examinateurs / Examinatrices : Simon Lacroix, Samia Ainouz, Christophe Sabourin, Michèle Gouiffès
• Jury : Rapporteurs / Rapporteuses : Simon Lacroix, Samia Ainouz
• DOI : 10.70675/9198abecz189fz4386z9e78z2797ef68b8ab

Mots clés

Mots clés contrôlés

Véhicules automobiles -- Localisation automatique

Caméras

Lidar

Fusion multicapteurs

Cartographie -- Logiciels

Robots mobiles

Systèmes embarqués (informatique)

Mots clés libres

SLAM

Caméra

LiDAR

Fusion multimodale

Localisation de véhicule

Systèmes embarqués

SLAM

Camera

LiDAR

Multimodal fusion

Vehicle localization

Embedded systems

Résumé

Les algorithmes multimodaux de SLAM améliorent sa robustesse et sa précision dans des environnements complexes et dynamiques. Cependant, ces améliorations se font au prix d’une augmentation des exigences en matière de calcul. L’étude systémique du problème SLAM est cruciale pour concevoir une solution pratique, stable et polyvalente, adaptable aux systèmes embarqués et temps réel. Nous avons étudié les différentes étapes de traitement du système afin d’apporter des contributions au niveau de fermeture de boucle multimodale pour des applications SLAM et de son architecture de calcul. Cette étude a commencé par une analyse approfondie de l’impact des différentes modalités de représentation de l’information sur la précision de la fermeture de boucle et son influence sur la réduction de la dérive de trajectoire. Nous avons développé une méthode de fusion à base d’un filtre particulaire guidé par la similarité, qui a été évaluée à l’aide de divers ensembles de données. Les résultats obtenus ont montré une amélioration de la localisation. Nous avons proposé un modèle d’architecture hétérogène (CPU-GPU et CPU-FPGA) pour le calcul d’un descripteur de scène inter-modal. Cette architecture a pu offrir des performances supérieures en termes de temps de traitement.

Multimodal SLAM algorithms improve its robustness and accuracy in complex and dynamic environments. However, these improvements come at the cost of increased computational requirements. The systemic-level study of the SLAM problem is crucial to designing a practical, stable and versatile solution, adaptable to embedded and real-time systems. We have studied the various processing stages of the system in order to propose contributions to the multimodal loop closure level for SLAM applications, and its computational architecture. This study began with an in-depth analysis of the impact of multimodal information representation on loop closure accuracy and its influence on trajectory drift reduction. We developed a fusion method based on a similarity-guided particle filter, which was evaluated using various dataset. The results obtained showed an improvement in localization’s accuracy. We proposed a heterogeneous architecture model (CPU-GPU and CPU-FPGA) for inter-modal scene descriptor computation. This architecture was able to deliver superior performance in terms of processing time.