Du rôle des Actions et de l'Apprentissage Automatique dans la Perception des Agents Artificiels.

On the role of Actions and Machine Learning in Artificial Agent Perception.

• Auteur / Autrice : Hugo Caselles-Dupré
• Direction : David Filliat
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 10/06/2021
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : École nationale supérieure de techniques avancées (Palaiseau). Unité d'Informatique et d'Ingénierie des Systèmes
• Jury : Président / Présidente : Olivier Sigaud
• Jury : Examinateurs / Examinatrices : Alessandro Lazaric, Irina Higgins
• Jury : Rapporteurs / Rapporteuses : Sylvain Argentieri, Jean-Baptiste Mouret

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Robotique

Mots clés libres

Apprentissage par renforcement

Robotique

Apprentissage de représentations

Reinforcement learning

Robotics

Representation learning

Résumé

L'automatisation est le moyen par lequel l'espèce humaine peut se libérer du fardeau des tâches qu'elle a déjà résolues. Ces tâches sont omniprésentes dans notre vie quotidienne, à la maison ou dans un contexte professionnel. Une grande ambition dans la recherche est de créer des agents capables d'agir et de raisonner dans le monde réel, en automatisant ces tâches résolues. Pour cela, nous supposons les agents doivent construire une perception de leur environnement, tout comme les humains.La programmation directe de ces agents est impossible en raison de la complexité du monde et de ses interaction. C'est pourquoi les approches fondées sur l'apprentissage ont prévalu dans la recherche au cours des 20 dernières années. Alors que l'apprentissage supervisé des algorithmes utilisant des données étiquetées a fourni de nombreuses applications utiles, avoir des agents qui perçoivent le monde aussi bien que des agents biologiques exigerait des quantités prohibitives de données étiquetées. La recherche a ainsi opté pour des approches non supervisées ou faiblement supervisées pour construire des algorithmes qui apprennent à partir des données et peuvent ensuite être intégrés dans de vrais robots qui résolvent des tâches dans le monde réel.Ainsi, parmi les approches d'apprentissage automatique, nous avons plusieurs sous-domaines qui abordent chacun différents aspects de la perception que les agents devraient avoir. L'apprentissage de répresentations d'états (ARE) se concentre sur l'apprentissage des représentations de l'expérience des agents. Le ARE essaie d'imiter la capacité des humains à résumer des scènes complexes en objets et concepts de composition. L'apprentissage continu vise à résoudre le célèbre problème d'oubli catastrophique des réseaux de neurones, qui oublient tout ce qu'ils ont appris lorsque de nouvelles données leur sont présentées. Les humains ne souffrent pas de ce problème car nous avons une mémoire et des mécanismes d'oubli sélectifs qui permettent d'apprendre continuellement tout au long de notre vie. Nous avons enfin l'apprentissage par renforcement, qui vise à apprendre à résoudre une tâche en maximisant la récompense qui lui est associée, mécanisme qui est également présent chez les agents biologiques.D'un autre côté, nous avons aussi des approches plus originales qui n'ont pas forcément les mêmes performances mais reposent sur des paradigmes prometteurs qui pourraient permettre des progrès de recherche. La robotique développementale est un sous-domaine de la robotique qui vise à développer des méthodes d'apprentissage inspirées de la biologie sur de vrais robots. Nous avons aussi ce que nous appellerons dans ce manuscrit les approches de l'agent incarné, qui sont des considérations théoriques et pratiques basées sur les théories de la perception développées en psychologie, philosophie et sciences cognitives. Dans ces théories, le rôle des actions est crucial dans le développement de la perception. Nous utiliserons cela comme base pour la plupart de nos contributions.Dans cette thèse, nous contribuons à ces sous-domaines de recherche en développant des connaissances théoriques et des algorithmes d'application qui visent à créer des agents avec des niveaux plus profonds de perception de leur corps et de l'environnement. Plus précisément, nous développons deux approches novatrices pour l'apprentissage de représentation d'états et l'apprentissage continu avec des applications à de vrais robots. Nous étendons une théorie sur la désintrication pour l'apprentissage de représentation, en montrant le rôle crucial des actions dans l'apprentissage. Nous proposons enfin un nouveau mécanisme d'apprentissage des agents incarnés basé sur la commutativité sensorielle des séquences d'action: nous nous inspirons des théories sur la perception et développons des connaissances théoriques ainsi que des algorithmes d'apprentissage pour la détection d'objets et la découverte du corps.

Automation is the medium by which the human species can free itself from the burden of tasks it has already solved. Such tasks are omnipresent in our daily lives, at home or in a professional context. A great quest in research is to build agents that can act and reason in the real-world, automating those solved tasks. For that, agents have to build a perception of their environments, just like humans do.Directly programming those agents is infeasible because of the complexity of the world and its interaction. That is why learning-based approaches have been prevalent in research for the past 20 years. While supervised learning of algorithms using labeled data has provided numerous useful applications, having agents that perceive the world as well as biological agents do would require prohibitive amounts of labeled data. Research has thus opted for unsupervised or weakly-supervised approach for building software algorithms that learn from data and can then be embedded in real robots that solve tasks in the real world.Thus, among the Machine Learning approaches, we have several sub-fields that each tackle different aspects of perception that agents should have. State Representation Learning (SRL) focuses on learning representations of what the agents experience. SRL tries to mimic the ability of humans to summarize complex scenes into compositional objects and concepts. Continual Learning (CL) aims at solving the infamous catastrophic forgetting problem of neural networks, which forget everything they learned when presented with new data. Humans do not suffer from this problem as we have memory and selective forgetting mechanisms that allow to continually learn throughout our lives. We finally have Reinforcement Learning (RL), which aims at learning to solve a task by maximizing the reward associated to it, a mechanism that is also present among biological agents.On the other hand, we also have more original approaches that do not necessarily have the same performances but are based on promising paradigms that could allow breakthroughs. Developmental robotics (Dev-Rob) is a sub-field of robotics which aims at developing biological-inspired methods for learning on real robots. We also have what we shall call in this manuscript the Embodied Agent approaches, which are theoretical and practical considerations based on theories of perception developed in psychology. In these theories, the role of actions is crucial in the development of perception. We will use this as a basis for most of our contributions.In this thesis we contribute to those sub-fields of research by developing theoretical insights and application algorithms which aim at creating agents with deeper levels of perception of their bodies and the environment. Specifically, we develop two novels approaches for Continual SRL and Continual RL with applications to real robots. We extend a theory on disentanglement for Representation Learning, by showing the crucial role of actions in the learning. We finally propose a novel learning mechanism for embodied agents based on the sensory commutativity of action sequences: we take inspiration from EA theories and develop theoretical insights as well as learning algorithms for object detection and self-body discovery.