Apprentissage de représentation et auto-organisation modulaire pour un agent autonome

par Bruno Scherrer

Thèse de doctorat en Informatique

Sous la direction de Frédéric Alexandre et de François Charpillet.


  • Résumé

    Cette thèse étudie l'utilisation d'algorithmes connexionnistes pour résoudre des problèmes d'apprentissage par renforcement. Les algorithmes connexionnistes sont inspirés de la manière dont le cerveau traite l'information : ils impliquent un grand nombre d'unités simples fortement interconnectées, manipulant des informations numériques de manière distribuée et massivement parallèle. L'apprentissage par renforcement est une théorie computationnelle qui permet de décrire l'interaction entre un agent et un environnement : elle permet de formaliser précisément le problème consistant à atteindre un certain nombre de buts via l'interaction. Nous avons considéré trois problèmes de complexité croissante et montré qu'ils admettaient des solutions algorithmiques connexionnistes : l'apprentissage par renforcement dans un petit espace d'états : nous nous appuyons sur un algorithme de la littérature pour construire un réseau connexionniste ; les paramètres du problème sont stockés par les poids des unités et des connexions et le calcul du plan est le résultat d'une activité distribuée dans le réseau ; l'apprentissage d'une représentation pour approximer un problème d'apprentissage par renforcement ayant un grand espace d'états : nous automatisons le procédé consistant à construire une partition de l'espace d'états pour approximer un problème de grande taille ; l'auto-organisation en modules spécialisés pour approximer plusieurs problèmes d'apprentissage par renforcement ayant un grand espace d'états : nous proposons d'exploiter le principe "diviser pour régner" et montrons comment plusieurs tâches peuvent être réparties efficacement sur un petit nombre de modules fonctionnels spécialisés.


  • Résumé

    This thesis studies the use of connexionist algorithms for solving reinforcement learning problems. Connectionist algorithms are inspired by the way information is processed by the brain: they rely on a large network of highly interconnected simple units, which process numerical information in a distributed and massively parallel way. Reinforcement learning is a computational theory that describes the interaction between an agent and an environment: it enables to precisely formalize goal-directed learning from interaction. We have considered three problems, with increasing complexity, and shown that they can be solved with connectionist algorithms: Reinforcement learning in a small state space: we exploit a well-known algorithm in order to build a connectionist network: the problem's paramaters are stored into weighted units and connections and the planning is the result of a distributed activity in the network. Learning a representation for approximating a reinforcement learning problem with a large state space: we provide an algorithm for automatically building a state space partition in order to approximate a large problem. Self-organization of specialized modules for approximating various reinforcement problems with a large state space: we exploit a d̀̀ivide and conquer'' approach and show that various tasks can efficiently be spread over a little number of specialized functional modules.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 151 p.
  • Notes : Publication autorisée par le jury

Où se trouve cette thèse ?

  • Bibliothèque : Université de Lorraine (Villers-lès-Nancy, Meurthe-et-Moselle). Direction de la Documentation et de l'Edition - BU Sciences et Techniques.
  • Disponible pour le PEB
  • Cote : SC N2003 18
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.