SLAM sémantique pour la perception et le contrôle de robots humanoïdes

par Arnaud Tanguy

Projet de thèse en SYAM - Systèmes Automatiques et Micro-Électroniques

Sous la direction de Abderrahmane Kheddar.

Thèses en préparation à Montpellier , dans le cadre de École Doctorale Information, Structures, Systèmes (Montpellier ; 2015) , en partenariat avec Laboratoire d'Informatique, Robotique et Micro-électronique de Montpellier (laboratoire) et de Département Robotique (equipe de recherche) depuis le 01-10-2014 .


  • Résumé

    Ce projet vise au développement et à l'implémentation d'algorithmes permettant l'interaction entre robots humanoïde et leur environnement (dont objets et êtres humains). En particulier, le projet se concentrera sur l'usage d'algorithmes reconnus de localisation et mapping [1] afin de permettre au robot de se localiser et de mapper des environnements complexes. Les principaux robots humanoïdes visés seront le Kawada HRP2 et HRP4. Les principaux capteurs consisteront de caméras couleur et profondeur. Le SLAM Visuel Dense (Dense visual SLAM) sera exploité dans le cadre du contrôle de robot humanoïdes et sera à la base du développement de nouvelles approches, dont un positionnement précis par rapport à des modèles connus, mapping en temps réel et exploration d'environnement inconnus, évitement de collisions et segmentation d'objets parmi l'environnement. Une approche de mapping dense permettra au robot humanoïde de percevoir des surfaces parmi l'environnement et de se positionner avec 6 degrés de liberté. Cela devrait permettre au robot d'accomplir des taches complexes tel que planification multi-contact basée modèle, ce qui permettrait d'accomplir des taches complexes, telles que escalader une échelle. Le projet devra aussi prendre avantage d'objets présent dans de nombreuses scène (tel que des chaises de bureau, etc) ainsi que d'objets et structures spécialisés. De plus, au fur et à mesure de l'exploration d'une scène complexe, l'usage de reconnaissance d'objets en temps réel et de tracking devrait fournir des contraintes à 6 degrés de liberté liées à un graphe d'objets composé en mémoire. Le but sera de raffiner continuellement ce graphe en utilisant des algorithmes d'optimisation pose-graph efficace. Une approche efficace sera implémentée pour chercher de nouveaux objets dans les nouvelles régions non-explorées. Le Doctorant travaillera conjointement entre le JRL-CNRS/AIST et l'I3S-CNRS/UNS à Sophia-Antipolis. Des visites seront aussi attendue au LIRMM à Montpellier. Le projet sera conjointement supervisé par Dr. Abderrahmane Kheddar et Dr. Andrew Comport. [1] M. Meilland and A. I. Comport. "On unifying key-frame and voxel-based dense visual SLAM at large scales". International Conference on Intelligent Robots and Systems. 2013.

  • Titre traduit

    Semantic SLAM for humanoid robots perception and control


  • Résumé

    This project concerns the development and implementation of real-time computer vision algorithms for autonomous navigation and interaction of a humanoid robot with its environment (including objects and people). Specifically, the project will focus on using current state-of-the-art algorithms in dense visual localisation and mapping [1] to perform robot-centred localisation and mapping of complex environments. The main target platforms will be the Kawada HRP2 and HRP4 humanoid robots. Colour and depth cameras will be considered as primary sensors. Dense visual SLAM will exploited in the framework of humanoid robot control and will form the basis for developing novel approaches including accurate positioning with respect to known models, active mapping and exploration of unknown environments, collision avoidance and segmentation of objects within the environment. A dense mapping approach will allow the humanoid robot to perceive surfaces within the environment and position the robot with a full 6 degrees of freedom. This should allow the robot to perform complex tasks such as multi-contact planning and achieving challenging tasks such as climbing a ladder. The project should allow to take advantage of objects which a repeated in many scenes (such as office chairs, etc) as well as domain-specific objects and structures. Subsequently improved memory compression can be expected along with increased robustness and accuracy. Moreover, as the humanoid robot browses a cluttered scene, the use of real-time 3D object recognition and tracking approaches should provide 6DoF camera-object constraints linked to the memory composed of an explicit graph of objects. The aim will be to continually refine this graph by efficient pose-graph optimisation. The object graph will allow predictions for accurate colour and depth via our image and depth-based ICP which relates the camera to the graph of objects at each live frame. An efficient approach will be implemented to search for new objects in currently non-described image regions. The PhD candidate will carry out the work jointly between the JRL-CNRS/AIST and I3S-CNRS/UNS in Sophia-Antipolis. Visits will also be expected to the LIRMM in Montpelier. This project will be jointly supervised by Dr. Abderrahmane Kheddar and Dr. Andrew Comport. [1] M. Meilland and A. I. Comport. "On unifying key-frame and voxel-based dense visual SLAM at large scales". International Conference on Intelligent Robots and Systems. 2013.