Agents artificiels autotelic et sociaux : formation et exploitation de conventions culturelles chez les agents artificiels autonomes incarnés

Towards Social Autotelic Artificial Agents : Formation and Exploitation of Cultural Conventions in Autonomous Embodied Artificial Agents

• Auteur / Autrice : Tristan Karch
• Direction : Pierre-Yves Oudeyer, Clément Moulin-Frier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/05/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux)
• Jury : Président / Présidente : Xavier Hinaut
• Jury : Examinateurs / Examinatrices : Stefano Palminteri, Andrew Lampinen
• Jury : Rapporteurs / Rapporteuses : John Langford, Noah Goodman

Mots clés

Mots clés contrôlés

Apprentissage non supervisé (intelligence artificielle)

Acquisition du langage

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Langage

Apprentissage par renforcement profond (intelligence artificielle)

Evolution culturelle

Emergence du langage

Acquisition du langage

Apprentissage ouvert

Language

Intrinsic motivations

Communication emergence

Language acquisition

Deep Reinforcement Learning

Self-Organization

Résumé

L'un des objectifs fondamentaux de l'Intelligence Artificielle (IA) est de concevoir des agents autonomes incarnés capables d'évoluer dans divers environnements, d'accomplir une multitude de tâches et d'interagir avec les humains. À cette fin, les chercheurs en IA utilisent différentes approches, avec deux méthodes principales se distinguant : la robotique développementale et les paradigmes d'IA standard. Alors que la robotique développementale modélise le développement cognitif des agents dans des environnements simplifiés, les paradigmes d'IA standard se concentrent sur les contributions algorithmiques dans des benchmarks précis et techniques. Dans cette thèse, nous prolongeons les appels récents à combler ces deux domaines et examinons le rôle des conventions culturelles dans le développement d'agents artificiels en utilisant des algorithmes d'IA de pointe.Cette recherche s'appuie sur le travail de la psychologie du développement et se concentre sur deux aspects cruciaux du développement humain, à savoir l'apprentissage autotélique et social. Le premier permet aux agents de former des répertoires de compétences ouverts en inventant et en poursuivant leurs propres objectifs, tandis que le second leur permet de communiquer, de coopérer, d'enseigner et d'organiser leurs pensées.Nos contributions sont organisées autour de deux questions scientifiques fondamentales : 1) la formation de conventions culturelles au sein de populations d'agents artificiels, et 2) l'exploitation de conventions culturelles dans leur développement cognitif.La première partie de ce manuscrit traite de la formation de conventions culturelles. Elle s'appuie sur des études récentes dans le domaine de la communication émergente pour proposer deux études computationnelles. La première étudie la formation de conventions culturelles dans le contexte écologique où les agents artificiels communiquent via un canal sensorimoteur graphique. La seconde s'inspire de la sémiotique expérimentale et étudie l'émergence de la communication dans le problème de l'architecte-constructeur : un nouveau paradigme d'apprentissage interactif où les agents ont des asymétries d'information et des affordances qui rendent l'application de l'apprentissage par renforcement multi-agent standard impossible.La seconde partie se concentre sur l'exploitation de conventions culturelles. Inspirés par les travaux pionniers de Vygotsky et d'autres psychologues, nous introduisons d'abord le framework Vygotskien d'IA autotélique. Ce framework permet aux agents d'apprentissage par renforcement d'intérioriser les interactions sociales afin de transformer leurs capacités cognitives, leur permettant de former des représentations abstraites, d'atteindre une généralisation systématique et d'explorer leur environnement de manière créative. À la suite de cette contribution conceptuelle, nous proposons deux études computationnelles. La première explore le rôle des biais inductifs dans le problème d'ancrage de langage où les agents doivent aligner leur expérience physique du monde avec les entrées linguistiques fournies par des partenaires sociaux. Notre dernière contribution computationnelle introduit l'agent IMAGINE : un agent autotélique Vygotskien qui convertit les descriptions linguistiques données par un partenaire social en objectifs atteignables. Imagine tire parti de la productivité linguistique et de la généralisation systématique pour développer de manière créative un répertoire de compétences ouvert.

One of the fundamental goals of Artificial Intelligence (ai) is to design embodied autonomous agents that can evolve in various environments, perform a multitude of tasks and interact with humans. To this end, ai researchers employ various approaches, with two primary methods standing out: developmental robotics and standard ai paradigms. While developmental robotics models agents’ cognitive development in simplified environments, standard AI paradigms focus on algorithmic contributions in precise and technical benchmarks. In this thesis, we extend upon recent calls to bridge these two fields and investigate the role of cultural conventions in the development of artificial agents using state-of-the-art ai algorithms. This research leverages work from developmental psychology and focuses on two crucial aspects of human development, namely autotelic and social learning. The former enables agents to form open-ended repertoires of skills by inventing and pursuing their own goals while the latter enables them to communicate, cooperate, teach, and organize their thoughts. Our contributions are organized around two fundamental scientific questions: 1) the formation of cultural conventions within populations of artificial agents, and 2) the exploitation of cultural conventions in their cognitive development. The first part of this manuscript deals with the formation of cultural conventions. It builds on recent studies in the field of emergent communication to propose two computational studies. The first one investigates the formation of cultural conventions in the ecological context where artificial agents communicate via a graphical sensory-motor channel. The second one draws inspiration from experimental semiotics and studies the emergence of communication in the architect-builder problem: a novel interactive learning paradigm where agents have asymmetries of information and affordances which makes the application of standard Multi-Agent Reinforcement Learning impossible. The second part focuses on the exploitation of cultural conventions. Inspired by the pioneering work of Vygotsky and other psychologists we first introduce the Vygotskian Autotelic ai Framework. This framework enables Reinforcement Learning agents to internalize social interactions in order to transform their cognitive abilities enabling them to form abstract representations, achieve systematic generalization, and creatively explore their environment. Following this conceptual contribution, we propose two computational studies. The first one explores the role of inductive biases in the language grounding problem where agents need to align their physical experience of the world with linguistic inputs provided by social partners. Our final computational contribution introduces the imagine agent: a Vygotskian autotelic agent that converts linguistic descriptions given by a social partner into targetable goals. imagine leverages language productivity and systematic generalization to grow an open-ended repertoire of skills in a creative way.