Apprentissage basé sur l’usage en interaction humaine avec un assistant adaptatif

par Clément Delgrange

Thèse de doctorat en Informatique

Sous la direction de Peter Ford Dominey.

Soutenue le 13-12-2018

à Lyon , dans le cadre de École Doctorale Neurosciences et Cognition (NSCo) , en partenariat avec Université Claude Bernard (Lyon) (établissement opérateur d'inscription) et de Institut Cellule Souche et Cerveau (laboratoire) .

Le président du jury était Salima Hassas.

Le jury était composé de Peter Ford Dominey, Marie-Aude Aufaure, Pierre-Yves Oudeyer.

Les rapporteurs étaient David Filliat, Marie-Aude Aufaure.


  • Résumé

    Aujourd'hui, un utilisateur peut interagir avec des assistants virtuels, comme Alexa, Siri ou Cortana, pour accomplir des tâches dans un environnement numérique. Dans ces systèmes, les liens entre des ordres exprimés en langage naturel et leurs réalisations concrètes sont précisées lors de la phase de conception. Une approche plus adaptative consisterait à laisser l'utilisateur donner des instructions en langage naturel ou des démonstrations lorsqu'une tâche est inconnue de l'assistant. Une solution adaptative devrait ainsi permettre à l'assistant d'agir sur un environnement numérique plus vaste composé de multiples domaines d'application et de mieux répondre aux besoins des utilisateurs. Des systèmes robotiques, inspirés par des études portant sur le développement du langage chez l'humain, ont déjà été développés pour fournir de telles capacités d'adaptation. Ici, nous étendons cette approche à l'interaction humaine avec un assistant virtuel qui peut, premièrement, apprendre le lien entre des commandes verbales et la réalisation d'actions basiques d'un domaine applicatif spécifique. Ensuite, il peut apprendre des liens plus complexes en combinant ses connaissances procédurales précédemment acquises en interaction avec l'utilisateur. La flexibilité du système est démontrée par sa forte adaptabilité au langage naturel, sa capacité à apprendre des actions dans de nouveaux domaines (Email, Wikipedia,...), et à former des connaissances procédurales hybrides en utilisant plusieurs services numériques, par exemple, en combinant une recherche Wikipédia avec un service de courrier électronique

  • Titre traduit

    Usage-based Learning in Human Interaction with an Adpative Assistant Agent


  • Résumé

    Today users can interact with popular virtual assistants such as Siri to accomplish their tasks on a digital environment. In these systems, links between natural language requests and their concrete realizations are specified at the conception phase. A more adaptive approach would be to allow the user to provide natural language instructions or demonstrations when a task is unknown by the assistant. An adaptive solution should allow the virtual assistant to operate a much larger digital environment composed of multiple application domains and providers and better match user needs. We have previously developed robotic systems, inspired by human language developmental studies, that provide such a usage-based adaptive capacity. Here we extend this approach to human interaction with a virtual assistant that can first learn the mapping between verbal commands and basic action semantics of a specific domain. Then, it can learn higher level mapping by combining previously learned procedural knowledge in interaction with the user. The flexibility of the system is demonstrated as the virtual assistant can learn actions in a new domains (Email, Wikipedia,...), and can then learn how email and Wikipedia basic procedures can be combined to form hybrid procedural knowledge


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université Claude Bernard. Service commun de la documentation. Bibliothèque numérique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.