Algorithmes de prise de décision stratégique pour robots autonomes

Decision-making algorithms for autonomous robots

• Auteur / Autrice : Ludovic Hofer
• Direction : Olivier Ly, Hugo Gimbert
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/11/2017
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Serge Chaumette
• Jury : Examinateurs / Examinatrices : Olivier Ly, Hugo Gimbert, Serge Chaumette, Luca Iocchi, Frédérick Garcia, Blaise Genest, Laurent Simon, Abdel-Illah Mouaddib
• Jury : Rapporteurs / Rapporteuses : Luca Iocchi, Frédérick Garcia

Mots clés

Mots clés contrôlés

Apprentissage

Markov, Processus de

Simulation, Méthodes de

Robots autonomes

Mots clés libres

Processus de décision markovien

Robotique autonome

Apprentissage

Markov decision process

Autonomous robotics

Machine learning

Résumé

Afin d'être autonomes, les robots doivent êtres capables de prendre des décisions en fonction des informations qu'ils perçoivent de leur environnement. Cette thèse modélise les problèmes de prise de décision robotique comme des processus de décision markoviens avec un espace d'état et un espace d'action tous deux continus. Ce choix de modélisation permet de représenter les incertitudes sur le résultat des actions appliquées par le robot. Les nouveaux algorithmes d'apprentissage présentés dans cette thèse se focalisent sur l'obtention de stratégies applicables dans un domaine embarqué. Ils sont appliqués à deux problèmes concrets issus de la RoboCup, une compétition robotique internationale annuelle. Dans ces problèmes, des robots humanoïdes doivent décider de la puissance et de la direction de tirs afin de maximiser les chances de marquer et contrôler la commande d'une primitive motrice pour préparer un tir.

The autonomy of robots heavily relies on their ability to make decisions based on the information provided by their sensors. In this dissertation, decision-making in robotics is modeled as continuous state and action markov decision process. This choice allows modeling of uncertainty on the results of the actions chosen by the robots. The new learning algorithms proposed in this thesis focus on producing policies which can be used online at a low computational cost. They are applied to real-world problems in the RoboCup context, an international robotic competition held annually. In those problems, humanoid robots have to choose either the direction and power of kicks in order to maximize the probability of scoring a goal or the parameters of a walk engine to move towards a kickable position.