Motivations intrinsèques et contraintes maturationnelles pour l'apprentissage sensorimoteur

• Auteur / Autrice : Adrien Baranès
• Direction : Pierre-Yves Oudeyer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2011
• Etablissement(s) : Bordeaux 1
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Examinateurs / Examinatrices : François Charpillet, Stéphane Doncieux, Jacqueline Gottlieb
• Jury : Rapporteurs / Rapporteuses : Frédéric Alexandre, Olivier Sigaud

Mots clés

Mots clés contrôlés

Intégration sensorimotrice

Évolution du comportement

Apprentissage

Robots

Mots clés libres

Apprentissage actif

Motivations intrinsèques

Contraintes maturationnelles

Active learning

Intrinsic motivations

Maturational contraints

Résumé

Apprendre de nouvelles connaissances et savoir-faire sensorimoteurs dans des environnements réels entraine un grand nombre de défis majeurs pour les robots d'aujourd'hui. Pour acquérir de nouveaux comportements, ceux-ci ont besoin d'explorer des espaces sensorimoteurs qui possèdent généralement les caractéristiques d'être de grande dimensionnalité, de grands volumes, redondants, et de comporter des zones de complexités différentes. Dans cette thèse qui entre dans le cadre de la robotique développementale, nous proposons différents processus permettant de guider et contraindre une acquisition autonome de comportements sensorimoteurs nouveaux dans de tels espaces. Nous proposons une approche unifiée de résolution de ces problèmes qui prend inspiration des phénomènes de contraintes développementales présentés en biologie et psychologie, et plus particulièrement des motivations intrinsèques et des contraintes maturationnelles. Après la formalisation de cadres computationnels basés sur ces notions, nous présentons trois architectures algorithmiques différentes, chacune réutilisée de manière intégrée dans la suivante:La première, appelée RIAC, pour Robust-Intelligent Adaptive Curiosity, correspond à l'implémentation d'un algorithme d'apprentissage actif développemental permettant d'orienter l'exploration dans des espaces bornés et de dimensionnalité connue, possédant des régions de différents niveaux de complexités. Ce système, qui utilise des heuristiques prenant inspiration des mécanismes de motivations intrinsèques basées sur les connaissances, permet de diriger efficacement une exploration progressive de nouvelles connaissances sensorimotrices, qui correspondent à l'apprentissage de modèles directs. Il entraine aussi l'émergence de trajectoires développementales auto-organisées relatives à l'orientation de l'exploration sensorimotrice vers des activités de complexités intermédiaires.Ensuite, nous proposons l'algorithme SAGG-RIAC, pour Self-Adaptive Goal Generation - RIAC, en tant que mécanisme d'exploration intrinsèquement motivée basée sur les compétences, qui permet à des robots dont les espaces sensorimoteurs sont de grandes dimensions, hautement redondants, et possédant des schémas corporels différents, d'apprendre efficacement et activement de nouveaux comportements moteurs dans leurs espaces de tâches. L'idée principale de cet algorithme est d'orienter le robot à effectuer un babillage actif dans un espace des tâches de faible dimensionnalité, en opposition à un babillage moteur effectué dans un espace de contrôle de plus grande dimension, en auto-générant activement et adaptivement des objectifs dans les régions de l'espace des tâches qui fournissent les meilleures améliorations de compétences, pour l'atteinte d'objectifs précédemment tentés. Enfin, nous introduisons l'algorithme McSAGG-RIAC, pour Maturationally-Constrained SAGG-RIAC, qui repose sur le couplage de modèles computationnels de motivations intrinsèques et de contraintes maturationnelles physiologiques. Nous argumentons que ces mécanismes peuvent avoir des interactions bidirectionnelles complexes permettant le contrôle actif de l'augmentation de la complexité du développement sensorimoteur, afin de diriger une exploration et un apprentissage efficaces. Nous introduisons plus particulièrement un modèle fonctionnel des contraintes maturationnelles inspiré par le processus de myélinisation chez les humains, et montrons comment celui-ci peut être couplé avec l'algorithme SAGG-RIAC. Nous montrons qualitativement et quantitativement que cette approche intégrée des trois architectures présentées pendant cette thèse permet de répondre à certaines des problématiques des environnements réels, en contrôlant la complexité, le volume, la dimensionnalité et la redondance des comportements explorés de manière intrinsèque au robot, diminuant de manière importante la nécessité de contraindre et préparer l'environnement de manière externe.

Learning new sensorimotor knowledge and know-how in real environments leads to an important number of challenges for today's robots. In order to learn new skills, they need to explore sensorimotor spaces which are generally high-dimensional, high-volume, redundant, and possess areas of heterogenous levels of complexity. In this thesis, introduced within the developmental robotics domain, we propose different processes in order to guide and constrain the autonomous acquisition of new sensorimotor skills in such spaces. We propose an unified approach in order to resolve these problems which takes inspiration from phenomenon of developmental constraints introduced in biology and psychology, and more particularly intrinsic motivations and maturational constraints. After formalizing a computational framework based on these notions, we present three different algorithmic architectures, each one reused in an integrated manner within the next one:The first one, called RIAC, for Robust-Intelligent Adaptive Curiosity, corresponds to the implementation of an active learning algorithm which orients the exploration in bounded spaces whose dimensionality is known and which possess regions of different levels of complexity. This system, which uses heuristics taking inspiration from knowledge based intrinsic motivations mechanisms, effectively directs a progressive exploration of new sensorimotor knowledge, which corresponds to the learning of forward models. It also leads to the emergence of self-organized developmental trajectories related to the orientation of the sensorimotor exploration toward activities of intermediate complexity. Then, we propose the SAGG-RIAC algorithm for Self-Adaptive Goal Generation - RIAC, as a competence based intrinsic motivations exploration mechanism, which allows highly-redundant robots whose sensorimotor spaces are high-dimensional to learn effectively and actively new motor skills in their task spaces. The main idea of this algorithm is to guide the robot to do active babbling in a low-dimensional task space, in contrast with a motor babbling carried out in a higher-dimensional control space, by actively and adaptively self-generating goals in regions of the task space which bring the highest improvement of competences for reaching previously attempted goals.Finally, we introduce the McSAGG-RIAC algorithm for Maturationally-Constrained SAGG-RIAC, which is based on a coupling of computational models of intrinsic motivation and physiological maturational constraints. We argue that these mechanisms may have complex bidirectional interactions allowing the active control of the increase of complexity in the sensorimotor development, in order to direct efficient learning and exploration processes. We introduce more particularly a functional model of maturational constraints inspired by the biological process of myelination, and show how this can be coupled with the SAGG-RIAC algorithm. We show qualitatively and quantitatively that this integrated approach of the three architectures introduced in this thesis answers some problematics raised by real environments, by controlling the complexity, volume, dimensionality and redundancy of skills explored in a manner intrinsic to the robot, thus decreasing in an important extent the necessity of constraining and preparing the environment in en external manner.