Localisation et suivi d'objet pour robot mobile en intérieur en utilisant la mémoire et l'information temporelle

par Lucas Gamez

Projet de thèse en SYAM - Systèmes Automatiques et Micro-Électroniques

Sous la direction de Eiichi Yoshida.

Thèses en préparation à Montpellier , dans le cadre de École Doctorale Information, Structures, Systèmes (Montpellier ; 2015) , en partenariat avec CNRS-AIST Joint Robotics Laboratory (laboratoire) et de Département Robotique (equipe de recherche) depuis le 01-12-2018 .


  • Résumé

    Cette thèse fait partie d'un projet qui vise à permettre à des robots manipulateurs mobiles d'interagir avec des humains et des objets dans un environnement intérieur. Le sujet de cette thèse est l'étude d'une solution permettant aux robots mobiles de rechercher et de suivre une cible grâce à l'apprentissage profond. L'essentiel est de trouver un moyen de faire apparaître une notion du temps et de mémoire lors de la détection des objets et des humains afin que le robot puisse suivre l'évolution de sa cible et rechercher efficacement dans un environnement inconnu. Cette étude peut être divisée en trois parties : La première partie porte sur une méthode de recherche efficace d'un objet cible dans un environnement inconnu. Étant donné une ou plusieurs vues d'une scène intérieure inconnue et l'objet cible de la requête, qui pourrait ou non se trouver dans les vues, un robot recherchera la cible en utilisant la mémoire et les connaissances acquises dans différentes scènes intérieures. En d'autres termes, cette étude portera sur un moyen compact de stocker les informations visuelles d'une base de données de scènes intérieures et de les utiliser pour la navigation des robots. De plus, le robot utilisera l'information recueillie à partir des images précédentes obtenues lors de la recherche. De cette façon, le robot sera en mesure de faire des choix réfléchis lors de la recherche d'une cible. La deuxième partie concerne le suivi de la cible (en particulier le suivi d'humain) dans un environnement surpeuplé. Le but est de suivre le mouvement de plusieurs personnes afin de suivre une personne spécifique et d'éviter les autres, de sorte que le robot puisse soutenir cette personne. Nous développerons une technique de suivi basée sur des techniques de segmentation (comme MaskRCNNN) ou des techniques de détection de poses humaines (comme Openpose) afin qu'elle puisse suivre la cible et les autres personnes dans le temps avec une ressource informatique limitée comme celle d'un robot mobile. Dans la perspective du projet, une autre possibilité de recherche pourrait porter sur la commande interactive d'un robot mobile utilisant un langage humain non contraint. C'est-à-dire, être capable de désigner une cible pour le robot sans avoir à utiliser une grammaire spécifique lorsqu'on lui parle. Par exemple, cela permettra à un robot de récupérer un objet sur la base d'une commande donnée sous forme de voix humaine.

  • Titre traduit

    Object localization and tracking for mobile robot in indoor environment using memory and temporal information


  • Résumé

    This thesis is part of a project that aims at enabling mobile manipulator robots to interact with humans and objects in an indoor environment. The subject of this thesis is to study a solution for mobile robots to search and track a target using deep learning. The key is to find a way to make a notion of time and memory appear during object and human detection so that the robot can follow the evolution of its target and search efficiently in an unknown environment. This study can be divided into three parts: The first part is about the efficient search technique for a target object in an unknown environment. Given one or a few views of an unknown indoor scene and the query target object which might or might not in the views, a robot will search for the target using memory and knowledge learnt from different indoor scenes. In other words, this study will address a compact way to store visual information from an indoor scene database and use it for robot navigation. In addition, the robot will use the information collected from the previous frame obtained during the search. In this way, the robot will be able to make thoughtful choices when searching for a target. The second part concerns the tracking of the target (in particular the human tracking) in the crowded environment. The aim is to track the movement of several people in order to follow a specific person and avoid others, so that the robot can support that person. We will develop a tracking technique based on instance segmentation techniques (such as MaskRCNN) or multiple person human pose detection techniques (such as Openpose) so that it can track the target and other people over time with a limited computational resource like a mobile robot. In view of the project, another possibility of research could focus on the interactive control of a mobile robot using unconstrained human language. That is, being able to designate a target for the robot without having to use a specific grammar when speaking to it. For example, this will allow a robot to fetch an object based on a command given in the form of human voice.