Apprentissage de la saisie d'objets en robotique via des données générées par qualité-diversité

Learning to Grasp in Robotics with Quality-Diversity Generated Data

• Auteur / Autrice : Johann Huber
• Direction : Stéphane Doncieux, Faïz Ben Amar, Alexandre Coninx
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 29/11/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Guillaume Morel
• Jury : Examinateurs / Examinatrices : Rania Rayyes, Pedro U. Lima
• Jury : Rapporteurs / Rapporteuses : Antoine Cully, Sylvain Cussat-Blanc

Mots clés

Mots clés contrôlés

Préhenseurs (ingénierie)

Apprentissage automatique

Apprentissage supervisé (intelligence artificielle)

Mots clés libres

Intelligence artificielle

Robotique

Apprentissage automatique

Apprentissage supervisé

Artificial intelligence

Robotics

Machine learning

Supervised learning

Résumé

L'apprentissage de la saisie d'objets un prérequis au développement de machines capables de soulager les humains de tâches fastidieuses dans des environnements non structurés. Après une longue période d'hégémonie des approches analytiques, les méthodes basées sur les données ont révolutionné le domaine en entraînant avec succès des politiques capables de saisir des objets inconnus divers. Malgré les récentes avancées en matière d'intelligence artificielle, les méthodes de pointe pour l'apprentissage de la préhension restreignent l'espace opérationnel afin d'éviter le problème des récompenses éparses, se traduisant par des politiques de préhension aux capacités d'adaptation limitées. Les algorithmes de qualité-diversité visent à générer un ensemble de solutions diverses et performantes à un problème donné. Bien que ces méthodes soient bien connues pour leur efficacité dans les problèmes d'exploration difficiles, elles sont presque toujours utilisées pour les tâches de locomotion. Les récentes avancées dans les méthodes d'intelligence artificielle montrent que les capacités de généralisation requièrent des ensembles de données de grande taille et de qualité. Cette thèse vise à exploiter la méthode qualité-diversité pour générer de grands ensembles de données de saisie, et à les utiliser pour fournir des capacités de saisie à des robots réels. Le manuscrit s'appuie sur deux questions sous-jacentes : comment générer automatiquement des données de saisies avec les algorithmes de qualité-diversité, et comme exploiter ces données sur robot réel. La première partie résume les connaissances actuelles sur la saisie robotique et sur les algorithmes de qualité-diversité, et souligne les défis inhérents à ces domaines. La deuxième partie se concentre sur la génération de données au travers de trois contributions: 1) la génération de trajectoires de saisies diverses et performantes, 2) l'étiquetage de ces données pour le transfert sur robot réel, et 3) l'extension des précédents résultats à la génération de saisies centrées sur l'objet. La troisième partie aborde la question de l'exploitation des données au travers de trois autres contributions : 1) comment exploiter directement ces données via un module basé vision pour saisir des objets connus, 2) comment entraîner des réseaux de neurones profonds avec ces données pour apprendre à saisir des objets inconnus, et 3) dans quelle mesure la taille du jeu de donnée généré a un impact sur les performances. La quatrième partie du manuscrit discute les contributions présentées au regard des publications récentes, et les perspectives des travaux de la thèse. Enfin sont abordés les potentiels échos de ces travaux sur la société, au travers des questions d'emploi, de soutenabilité, d'éthique, mais aussi en discutant une collaboration entre arts et sciences. Nous pensons que ces travaux constituent une étape importante vers le développement d'outils robotiques intelligents, capables de résoudre des tâches en milieux non-structurés, de manière à pouvoir libérer l'humain d'un grand nombre de tâches dangereuses ou fastidieuses.

Making robots learn to grasp is critical to develop machines capable of relieving humans from tedious tasks in unstructured environments. After the early days of analytic approaches, data-driven methods have revolutionized the field by successfully training policy capable of grasping a wide range of unknown objects. Despite the recent advances in artificial intelligence, state-of-the-art methods for learning to grasp constraint the operational space to avoid the sparse reward problem, resulting in grasping policies with limited adaptation capabilities. Quality-diversity algorithms aim to generate a set of diverse and high-performing solution to a given problem. While those methods are well known for their efficiency in hard exploration problem, they are almost always used to address locomotion tasks. The recent breakthroughs in artificial intelligence methods show that generalization capabilities requires large and high-quality datasets. This thesis aims to exploit quality-diversity method to generate large grasping datasets, and uses them for providing grasping capabilities to real robots. The manuscript is driven by two underlying questions: how to automatically generate grasping data with quality-diversity algorithms, and how to exploit those data for real robot grasping. The first part covers the background knowledge in robotic grasping and quality-diversity optimization, stating the challenges raised by the combination of those two domains. The second part focuses on the data generation through three main contributions: 1) the generation of diverse and high-performing reach-and-grasp trajectories, 2) the labelling of those data for sim2real transfer, and 3) the extension of the obtained results to generation of diverse and high-performing object-centric grasp poses. The third part cover the exploitation of the generated data through three others contributions: 1) how to directly use them with a vision-based module for grasping known objects, 2) how to train deep neural networks with those data to learn to grasp unknown objects, and 3) how does the size of the dataset impacts the obtained performances. The fourth part discusses the presented contributions regarding recent related works and research perspectives. The potential societal impacts of this research are also considered, as well as its interactions with the artistic field through a collaboration with theatre professionals. We believe this thesis to be a significant step to make robots operational in unstructured environments to eventually relieve humans from a wide range of tedious tasks.