Apprentissage par le succès et l'échec pour les robots humanoïdes : étude pour la marche bipède

Success-failure learning for humanoid : study on bipedal walking

• Auteur / Autrice : John Nassour
• Direction : Fethi Ben Ouezdou, Gordon Cheng
• Type : Thèse de doctorat
• Discipline(s) : Ingénierie
• Date : Soutenance en 2012
• Etablissement(s) : Versailles-St Quentin en Yvelines en cotutelle avec Technische Universität (Munich, Allemagne)

Mots clés

Mots clés contrôlés

Locomotion humaine

Développement neurologique

Robotique

Résumé

L’être humain apprend et se développe par des expériences via des interactions continues avec le monde. Actuellement, la compréhension neurologique des mécanismes d'apprentissage est à un niveau où ils peuvent être validés sur des robots. Le cortex cingulaire antérieur (CCA) est impliqué dans le contrôle cognitif en agissant comme un système d'alerte précoce pour l'erreur liée à la prise de risques (vigilance) alors que le cortex orbitofrontal (OFC) joue un rôle dans la boucle de récompense par le codage des résultats régulant ainsi la prise de décision et l’anticipation. Ces mécanismes neuronaux sont sous-jacents dans le développement cognitif et l'apprentissage. En outre il a été montré que des patrons moteurs rythmiques robustes et complexes proviennent de la moelle épinière où siègent les centres générateurs de rythmes (CPG). Cette thèse présente des modèles neuronaux pour l’apprentissage des robots par l’expérience. Basée sur les études du CCA sur l’apprentissage par succès-échecs, une structure utilisant un mécanisme neuronal permettant au robot d'apprendre à partir de ses expériences est présentée. Basé sur l'OFC cet apprentissage a été étendu à la notion de récompense adaptée à l'apprentissage afin d’améliorer les performances du robot. Basé les modèles de CPG un contrôleur bas niveau fournit différents patrons moteurs pour l'apprentissage. L’assemblage de ces modèles permet de valider le principe de l’apprentissage par succès-échecs sur une architecture de CPG pour le robot humanoïde NAO afin qu’il apprenne à marcher dans des conditions variables. Les résultats montrent que le robot est capable d’apprendre, de s'adapter et de compenser certaines perturbations.

We learn and develop from our experiences through continuous interactions with the world. Neurological understanding of the learning mechanisms is beginning to emerge to a level where they can be validated on robots. The Anterior Cingulate Cortex (ACC) is involved in cognitive control by acting as an early warning system for error in relation to the risk taking tendency (the Vigilance). Whereas, the Orbitofrontal Cortex (OFC) plays a role in reward loop by coding of outcomes, thus, regulating decision-making and expectation. These neural mechanisms play an underpinning role in cognitive development and learning. Furthermore, it has been shown that robust and complex motor patterns are said to originate from the spinal cord, where it is believe to process a central patterns generator (CPG). This thesis presents computational neural models, realized on a robot that can acquire and learn from experiences. A framework for success-failure learning based on the studies of ACC is presented, this learning framework provide a neural mechanism that allows the robot to learn from experiences. Based on the OFC, this success-failure learning was extended to support for coding of reward adaptively which enhance the learning to improve the robot's performance. A low-level controller based on the studies of CPG was developed to provide a diverse patterns generator for the production of motor patterns for learning. Bringing it all together, we validated the success-failures learning framework with the supports of the extended CPG on a humanoid robot, NAO, learning to walk under varying condition. The results showed that the robot was able to adapt as well as deal with disturbances.