Imitation hiérarchique et apprentissage par renforcement pour les systèmes de dialogue orientés tâches multi-domaines

Hierarchical imitation and reinforcement learning for multi-domain Task-Oriented dialogue systems

• Auteur / Autrice : Thibault Cordier
• Direction : Fabrice Lefèvre, Lina Rojas Barahona
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/10/2023
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : École doctorale 536 « Sciences et agrosciences » (Avignon)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique d'Avignon
• Jury : Président / Présidente : Frédéric Béchet
• Jury : Examinateurs / Examinatrices : Tanguy Urvoy, Matthieu Geist, Jean-François Bonastre
• Jury : Rapporteurs / Rapporteuses : Olivier Pietquin, Stefan Ultes

Mots clés

Mots clés contrôlés

Systèmes adaptatifs

Boosting (algorithmes)

Agents conversationnels

Apprentissage par renforcement (intelligence artificielle)

Traitement automatique du langage naturel

Mots clés libres

Système de dialogue orienté tâche

Apprentissage par renforcement

Apprentissage par imitation

Apprentissage hiérarchique

Stratégie structurée

Task-oriented dialogue system

Reinforcement learning

Imitation learning

Hierarchical learning

Structured policy

Résumé

Dans cette thèse de doctorat, nous étudions les systèmes de dialogue orientés tâches qui sont des systèmes conçus pour aider les utilisateurs à accomplir des tâches spécifiques, telles que la réservation d’un vol ou d’un restaurant. Ils s’appuient généralement sur un paradigme d’apprentissage par renforcement pour modéliser le dialogue permettant au système de raisonner sur les objectifs et les préférences de l’utilisateur, et de sélectionner les actions qui conduiront au résultat souhaité. Malgré les avancées récentes, les systèmes de dialogue orientés tâches présentent encore plusieurs limites. L’une d’entre elles est la tendance de ces systèmes à échouer lorsque les utilisateurs s’écartent du comportement attendu ou introduisent de nouveaux objectifs au milieu de la conversation. Un autre problème est la difficulté de concevoir des systèmes robustes capables de gérer un large éventail de tâches. Nous nous concentrons spécifiquement sur l’apprentissage à partir d’un nombre limité d’interactions, ce qui est crucial en raison de la rareté et du coût des interactions humaines. Les algorithmes standards d’apprentissage par renforcement nécessitent généralement une grande quantité de données d’interaction pour obtenir de bonnes performances. Pour relever ce défi, nous visons à rendre les systèmes de dialogue plus efficaces en termes d’échantillonnage dans leur entraînement. Nous nous sommes inspirés principalement des idées d’imitation et de hiérarchie. Notre première contribution explore l’intégration de l’imitation dans l’apprentissage par renforcement. Nous nous appuyons sur la littérature existante qui souligne l’importance de l’imitation dans l’apprentissage, car les humains apprennent souvent en imitant des experts qui possèdent des connaissances précieuses. Nous étudions comment utiliser efficacement les démonstrations d’experts pour extrapoler les connaissances avec un effort de généralisation minimal. Alors que l’imitation s’avère efficace pour obtenir des performances et tirer parti de démonstrations réussies, nous observons des limites lorsqu’il s’agit de traiter une complexité plus élevée, en particulier dans le cadre d’un dialogue orienté tâches multi-domaines. Notre deuxième contribution porte sur l’exploitation de la hiérarchie et de la structure inhérentes aux dialogues. En nous inspirant de l’avantage que présente la décomposition de problèmes complexes en problèmes plus simples, nous explorons la manière d’exploiter les similitudes entre les tâches et les domaines dans les systèmes de dialogue. En décomposant le problème principal en tâches élémentaires que nous maîtrisons, nous tirons parti de la hiérarchie pour résoudre efficacement des problèmes plus vastes et plus complexes. Cette approche permet d’économiser du temps de formation en partageant des stratégies entre des tâches similaires. Enfin, nous consolidons nos résultats précédents et soulignons l’importance de l’apprentissage à partir d’un petit nombre d’interactions humaines dans les applications du monde réel. Les techniques d’apprentissage efficaces sur le plan de l’échantillonnage sont essentielles dans ce contexte, et nos recherches portent sur le développement de solutions efficaces dans le cadre de nos découvertes précédentes.

In this Ph.D thesis, we study task-oriented dialogue systems that are systems designed to assist users in completing specific tasks, such as booking a flight or ordering food. They typically rely on reinforcement learning paradigm to model the dialoguethat allows the system to reason about the user’s goals and preferences, and to select actions that will lead to the desired outcome. Despite these advances, there are still several limitations to task-oriented dialogue systems. One issue is the tendency of such systems to fail when users deviate from expected behavior or introduce new goals mid-conversation. Another issue is the difficulty of designing robust systems that can handle a wide range of tasks. Our focus is specifically on learning from a limited number of interactions that is crucial due to the scarcity and costliness of human interactions. Standard reinforcement learning algorithms typically require a large amount of interaction data to achieve good performance. To address this challenge, we aim to make dialogue systems more sample-efficient in their training. To guide our contribution journey, we draw from two main ideas: imitation and hierarchy. Our first contribution explores the integration of imitation with reinforcement learning. We build upon existing literature that emphasises the importance of imitation in learning, as humans often learn by imitating experts who possessvaluable knowledge. We investigate how to effectively use expert demonstrations to extrapolate knowledge with minimal generalisation effort. While imitation proves efficient for achieving performance and leveraging successful trajectories, we observelimitations when dealing with higher complexity, particularly in multi-domain taskoriented dialogue. Our second contribution focuses on harnessing the hierarchy and structure inherent in dialogues. Taking inspiration from the advantage of decomposing complex problems into simpler ones, we explore how to exploit task and domain similarities in dialogue systems. By decomposing the main problem into elementary tasks that we master, we leverage hierarchy to solve larger and more complex problems efficiently. This approach saves training time by sharing policies across similar tasks. Lastly, we consolidate our previous findings and emphasise the importance of learning from a small number of human interactions in real-world applications. Sample-efficient learning techniques are essential in this context, and our investigation revolves around developing effective solutions within the framework of our previous discoveries.