Intégration et exploitation complètes des données de caméras multimodales dans le SLAM visuel

Comprehensive integration and exploitation of multimodal camera data in visual SLAM

• Auteur / Autrice : Eva Goichon
• Direction : Guillaume Caron, Fumio Kanehiro
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'Ingénieur. Robotique
• Date : Soutenance le 15/12/2025
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Modélisation, Information et Systèmes (Amiens ; 2008-....)
• Jury : Président / Présidente : Samia Bouchafa
• Jury : Examinateurs / Examinatrices : Cindy Cappelle, Muriel Pressigout
• Jury : Rapporteurs / Rapporteuses : Cédric Demonceaux, Brahim Tamadazte
• DOI : 10.70675/31d2db3ez3df9z4789z95c2z82ab44a9f228

Mots clés

Mots clés contrôlés

Ingénierie

Robotique

Mots clés libres

SLAM visuel

Conversion de modèles de caméras

Caméras multimodales

RGB-D

Infrarouge

Robotique mobile

Simultaneous Localization and Mapping (SLAM)

Camera model conversion

Multimodal cameras

RGB-D

Infrared

Mobile robotics

Résumé

Cette thèse porte sur la cartographie et la localisation simultanées visuelles (SLAM) appliquées à la robotique autonome et vise à proposer une approche méthodologique permettant l'intégration complète des données issues des caméras couleur-profondeur, afin d'améliorer la robustesse, l'adaptabilité et la généricité des systèmes. La première contribution concerne la compatibilité entre modèles de caméras. Les méthodes de vision classiques, qu'il s'agisse du SLAM, de l'odométrie visuelle ou de l'asservissement visuel, sont conçues pour un nombre restreint de modèles de projection particuliers (souvent sténopé), ce qui rend difficile l'utilisation directe de caméras étalonnées avec d'autres modèles. Pour lever cette contrainte, une méthode générique de conversion linéaire entre modèles de caméras non linéaires est proposée. Elle transforme les paramètres intrinsèques issus d'étalonnages usine ou de modèles complexes en représentations compatibles avec les chaînes de traitement existantes. Les conversions formalisées couvrent notamment les modèles équidistants, unifiés, polynomiaux et rationnels polynomiaux. Les résultats montrent qu'elles préservent la précision tout en évitant des ré-étalonnages longs et contraignants, ce qui facilite l'intégration de nouveaux capteurs ou de jeux de données. La seconde contribution porte sur l'exploitation complète des informations fournies par les caméras couleur–profondeur. Une méthode de SLAM est développée pour combiner les canaux couleur, profondeur et infrarouge. Les points d'intérêt détectés dans l'infrarouge sont reprojetés dans le repère couleur grâce aux paramètres extrinsèques et aux cartes de profondeur, puis fusionnés avec les points issus des images couleur. La méthode prend également en compte les différences de résolution entre les canaux couleur, infrarouge et profondeur, garantissant une intégration cohérente des données. Cette combinaison permet d'exploiter non seulement les zones de recouvrement, mais aussi les zones habituellement ignorées. Intégrée dans une chaîne de SLAM visuel, elle améliore la continuité du suivi en environnements peu texturés, soumis à de fortes variations lumineuses ou à des occultations. Ces deux contributions, étroitement liées, offrent des solutions pratiques et généralisables pour renforcer la perception robotique et faciliter son déploiement dans une grande variété de scénarios. Au-delà des caméras couleur-profondeur, la méthodologie proposée peut s'appliquer à d'autres configurations multimodales combinant plusieurs résolutions ou champs de vue, ouvrant la voie à des systèmes de perception plus universels, capables d'exploiter pleinement la richesse des capteurs multimodaux contemporains et futurs

This dissertation addresses visual Simultaneous Localization and Mapping (SLAM) for autonomous robotics and proposes a methodological approach for the complete integration of data from RGB-D cameras, with the aim of improving the robustness, adaptability, and generality of SLAM systems.The first contribution concerns camera model compatibility. Classical vision methods, such as SLAM, visual odometry, or visual servoing, are designed for a limited set of projection models, most often pinhole. As a result, cameras calibrated with other models cannot be directly employed without adaptation. To overcome this limitation, a generic linear conversion method between non-linear camera models is proposed. It transforms intrinsic parameters obtained from factory settings or complex models into representations compatible with existing processing chains. The formalized conversions include equidistant, unified, polynomial, and rational polynomial models. Results show that accuracy is preserved while avoiding costly re-calibrations, thus enabling fast and flexible integration of new sensors or datasets.The second contribution addresses the complete exploitation of color-depth camera information. A SLAM method is developed to combine RGB, depth, and infrared channels. Interest points detected in the infrared channel are reprojected into the RGB frame using extrinsic parameters and depth maps, and then fused with points extracted from RGB images. The method also accounts for resolution differences between RGB, infrared, and depth channels, ensuring coherent and consistent data integration. This combination allows the system to exploit not only overlapping regions but also areas usually ignored. Integrated into a visual SLAM processing chain, it improves tracking continuity in low-textured environments, under strong illumination changes, and in the presence of occlusions.These two contributions, closely related, provide practical and generalizable solutions to strengthen robotic perception and facilitate its deployment in a wide variety of scenarios. Beyond RGB-D cameras, the proposed approach can be extended to other multimodal configurations combining multiple resolutions or fields of view, paving the way for more universal perception systems capable of fully exploiting the richness of contemporary and future multimodal sensors