Amorcer la perception écologique d’un robot par exploration et interactions

Bootstrapping Robotic Ecological Perception with Exploration and Interactions

• Auteur / Autrice : Léni Le Goff
• Direction : Stéphane Doncieux
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 14/03/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Raja Chatila
• Jury : Examinateurs / Examinatrices : Franck Guerin, Emre Ugur
• Jury : Rapporteurs / Rapporteuses : Lola Cañamero, Pierre-Yves Oudeyer

Mots clés

Mots clés contrôlés

Apprentissage automatique

Vision artificielle (robotique)

Perception des objets

Mots clés libres

Perception interactive

Exploration autonome

Apprentissage

Affordance

Robotique

Développement

Interactive perception

Autonomous exploration

Learning

Affordance

Robotic

Development

Résumé

La robotique a atteint une grande précision sur beaucoup de tâches, comme par exemple la manipulation ou la navigation. Mais la plupart des études sont basées sur une analyse complète du problème à résoudre par un ingénieur en robotique. Ces approches sont ainsi limitées aux environnements traités par l'ingénieur, en d'autres termes, à des environnements contrôlés. Aujourd'hui, la communauté de recherche en robotique adresse la problématique de permettre à des robots de réaliser des tâches de façon autonome dans des environnements réalistes et ouverts. De tel environnements sont complexes et dynamiques, comme par exemple notre environnement de tous les jours qui parait simple et structuré mais qui varie beaucoup d'un endroit à un autre. Dans ce genre de contextes, le robot doit être capable de s'adapter à de nouvelles situations qui n'ont pas pu être prévues par les ingénieurs qui l'ont conçu. Notre travail de recherche se concentre sur le développement d'une perception écologique adaptative pour un système robotique. La perception écologique d'un agent qualifie sa perception du monde à travers ses sens et ses capacités d'action. D'après J.J. Gibson qui a initié la psychologie écologique, les humains et les animaux perçoivent le monde par les actions qu'ils peuvent utiliser. Ainsi, un système robotique équipé de la compétence de réinitialiser de façon autonome sa perception quand il fait face à une nouvelle situation, serait hautement adaptatif. Notre but est de fournir à un robot la capacité d'apprendre une première représentation de ce qui l'entoure, capacité qui fonctionnerait sur n'importe quel environnement. Cela permettrait au robot d'apprendre de nouvelles représentations à partir de situations inconnues. Il est proposé de générer cette capacité par une méthode de perception interactive. Les méthodes de perception interactive prennent avantage de l'action pour construire ou améliorer la perception du monde. Pour ensuite exploiter ces représentations afin d'avoir des actions plus précises. Cette relation entre action et perception peut être formalisée facilement grâce aux affordances. Une affordance est un concept introduit par J.J. Gibson. C'est une relation entre des caractéristiques visuelles, des compétences de l'agent et des effets possibles. Le système collecte des données de l'environnement en interagissant avec lui grâce à une action spécifique associée à un effet attendu. Avec ces données, un classifieur probabiliste est entraîné en ligne pour construire une carte de perception. Cette carte représente les zones qui génèrent l'effet attendu quand l'action est appliquée. La carte est appelée une carte de pertinence. Plusieurs cartes de pertinence peuvent être construites en fonction de différentes actions et effets, la somme de ces cartes représente une perception riche de ce que le robot peut faire sur ce qui l'entoure. Nous nommons cette carte finale une carte d'affordances puisqu'elle permet au robot de percevoir l'environnement à travers les actions qu'il peut utiliser. Notre méthode a été testée sur le robot PR2.

Robotics has reached a high accuracy on many tasks, like for instance manipulation or navigation. But most of the studies are based on a deep analysis of the problem to solve by the robot designer. These approaches are thus limited to the environment considered by the robot designer, i.e. to a closed environment. Robotics research community is now addressing the issue to allow robots to autonomously achieve tasks in realistic open environments. Such environments are complex and dynamic, like for instance human everyday environment which seems simple but vary a lot from one place to another. In this kind of contexts, the robots must be able to adapt to new situations which were not forecasted by the engineers who designed the robot. Our research work is focused on the development of an adaptive ecological perception for a robotic system. An agent ecological perception defines how it perceives the real world environment through its sensing and acting capabilities. According to J.J. Gibson who has initiated ecological psychology, humans and animals perceive the world through the actions that they can use. Thus, providing a robotic system with the skill to bootstrap autonomously its perception when facing a new unknown situation, would allow the system to be highly adaptive. Our goal is to provide the robot with the capacity to learn a first representation of its surrounding which would work on any environment. This would allow the robot to learn new representations from unknown situations. It is proposed to generate this ability through an interactive perception method. Interactive perception methods take advantage from action to build or enhance representations of the world and then exploit these representations to have more accurate actions. This relation between action and perception can be easily formalized thanks to affordances. Affordance is a concept introduced by J.J. Gibson which is a relationship between visual features, agent skills, and possible effects. The system collects data from an environment by interacting with it thanks to a specific action associated to an expected effect. With these data a probabilistic classifier is trained online to build a perceptual map. This map represents the areas that generate the expected effect when the action is applied. Therefore, the map is called a relevance map. Several relevance maps could be built according to different actions and effects, the sum of these maps represents a rich perception of what the robot can do on its surrounding. We name this final map an affordances map as it allows the robot to perceive the environment through the actions it can use. Our methods was tested on the PR2 robots.