Méta-apprentissage par renforcement pour la robotique sociale

Meta-reinforcement learning for social robotics.

• Auteur / Autrice : Anand Ballou
• Direction : Xavier Alameda-Pineda
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 27/03/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble, Isère, France ; 2007-....)
• Jury : Président / Présidente : Anne Spalanzani
• Jury : Examinateurs / Examinatrices : Reuth Mirsky, Serena Ivaldi, Chris Reinke
• Jury : Rapporteurs / Rapporteuses : Alain Dutech, David Filliat

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Interaction homme-robot

Mots clés libres

Contrôle de robot basé sur des capteurs

Apprentissage profond

Perception audiovisuelle robotique

Apprentissage par renforcement

Deep learning

Audio-Visual machine perception

Sensor-Based robot control

Reinforcement learning

Résumé

Les systèmes de robotique sociale visent à fournir une assistance, à coopérer, à participer à des tâches de collaboration et à interagir avec les utilisateurs humains. Cela nécessite que le système robotique interagisse dans un environnement inconnu. La principale manière actuelle de relever ce défi repose sur des outils et des algorithmes d’apprentissage automatique. Les approches d'apprentissage automatique permettent au robot d'apprendre des informations de son environnement. L’apprentissage par renforcement est une approche d’apprentissage automatique populaire pour la robotique sociale. L'apprentissage par renforcement (RL) est un cadre de résolution de problèmes de prise de décision dans lequel un agent apprend à interagir avec son environnement par un processus d'essais et d'erreurs. En interagissant avec son environnement, l'agent recevra un feedback qui récompensera ou pénalisera l'action entreprise. L’objectif des algorithmes d’apprentissage par renforcement est d’apprendre une stratégie de sélection d’actions (politique) qui maximisera la récompense que l’agent recevra. RL est bien adapté pour résoudre des problèmes de décision tels que les environnements d’interaction sociale des robots, où les ensembles de données étiquetés ne sont généralement pas disponibles. Cependant, appliquer l’apprentissage par renforcement directement à l’environnement social est difficile en raison de divers facteurs. L’un de ces facteurs est la diversité des environnements auxquels un agent social sera confronté lors de son déploiement et la nécessité pour l’agent de s’adapter aux différentes préférences des utilisateurs. Cependant, il est notoirement difficile pour les agents d’apprentissage par renforcement de s’adapter à des environnements présentant des dynamiques différentes ou des fonctions de récompense différentes.Pour aider à résoudre ce problème, cette thèse étudie deux manières différentes d'améliorer l'adaptabilité des agents d'apprentissage par renforcement. Dans la première partie, nous étudions l’utilisabilité des approches d’apprentissage par méta-renforcement dans un contexte de robotique sociale. Nous proposons une amélioration par rapport à un algorithme d'apprentissage par méta-renforcement de pointe dans l'espoir de générer des comportements plus diversifiés. Dans la deuxième partie, nous proposons d'étudier comment utiliser directement les retours des utilisateurs pour une adaptation rapide à des fonctions de récompense inconnues. Pour ce faire, nous proposons d'intégrer l'apprentissage par méta-renforcement dans le cadre classique d'apprentissage basé sur les préférences afin de construire un algorithme robuste et permettant de gagner du temps pour l'apprentissage basé sur les préférences dans le contexte de la robotique sociale. Pour comparer notre approche, nous proposons également une nouvelle suite d'environnements d'apprentissage par renforcement social, qui permettent de tester notre algorithme sur diverses tâches sociales avec différents paramètres et préférences utilisateur complexes.

Social robots aim to assist, cooperate, take part in collaboration tasks and engage with human users. This requires the robotics system to interact within an unknown environment.The current predominant way to tackle this challenge relies on machine learning tools and algorithms. Machine learning approaches allow the robot to learn information from its environment. A popular machine-learning approach for social robotics is reinforcement learning.Reinforcement learning (RL) is a framework for solving decision-making problems in which an agent learns to interact with its environment through a trial-and-error process. By interacting with its environment, the agent will receive feedback that will either reward or penalize the taken action. The goal of reinforcement learning algorithms is to learn an action selection strategy (policy), that will maximize the reward the agent will receive.RL is well suited to solve decision problems such as robot social interaction environments, where labeled datasets are usually unavailable.However, applying reinforcement learning directly to a social environment is challenging due to several factors. One such factor is the diversity of environments a social agent will face when deployed, and the necessity for the agent to adapt to different user preferences. However, it is notoriously challenging for reinforcement learning agents to adapt to environments with different dynamics or reward functions.To help tackle this issue, this thesis investigates two ways to improve reinforcement learning agents' adaptability. In the first part, we study the usability of meta-reinforcement learning approaches in a social robotics context. In this respect, we provide improvements to a state-of-the-art meta-reinforcement learning algorithm to generate more diverse behaviors.In the second part, we study how to directly use user feedback for fast adaptation to new unknown user preferences.To accomplish this, we propose to integrate meta-reinforcement learning in the classical preference-based learning framework to build a robust and time-saving algorithm for preference-based learning in the context of social robotics.We moreover benchmark our approach on a suite of social reinforcement learning environments, which allow us to test our algorithm on various social tasks with different settings and complex user preferences.