Analyse automatique de la confiance au cours d'une interaction homme-robot par descripteurs multi-modaux et architectures neuronales récurrentes

Automatic analysis of trust over the course of a human-robot interaction using multimodal features and recurrent neural architectures

• Auteur / Autrice : Marc Hulcelle
• Direction : Chloé Clavel
• Type : Thèse de doctorat
• Discipline(s) : Signal, images, automatique et robotique
• Date : Soutenance le 18/12/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Catherine Pelachaud
• Jury : Examinateurs / Examinatrices : Catherine Pelachaud, Karola Pitsch, Alexandre Pauchet, Brian Ravenet
• Jury : Rapporteurs / Rapporteuses : Karola Pitsch, Alexandre Pauchet

Mots clés

Mots clés contrôlés

Apprentissage automatique

Confiance

Interaction homme-robot

Mots clés libres

Confiance

Réseaux Neuronaux Récurrents

Apprentissage statistique

Mutlimodal

Sociologie Interactioniste

Trust

Recurrent Neural Network

Machine learning

Multimodal

Interactionist Sociology

Résumé

La confiance est une notion importante en interaction homme-robot puisqu'elle impacte la qua-lite des relations entre les partenaires d'interaction et ainsi les performances de la tâche en cours. Les recherches autour de la confiance se sont essentiellement circonscrites autour des analyses des effets socio-psychologiques sur l'utilisateur du design du robot, ou de son comportement. Les mesures de la confiance se font généralement au début et fin de l'interaction par des questionnaires remplis par les utilisateurs eux-mêmes. Dans cette thèse, nous nous intéressons à une analyse de la dynamique de la confiance conduite régulièrement tout au long de l'interaction. Comme les approches usuelles de Psychologie dites mentalistes ne nous permettent pas de faire ceci, nous faisons appel aux théories de la Sociologie Interactioniste afin d'établir un schéma de codage TURIN (Trust in hUman Robot INteraction) dédié à cela. Ensuite, nous utilisons des outils de Machine Learning afin de développer des modèles d'analyse automatique de la confiance. Nous proposons une nouvelle méthodologie permettant de conduire l'analyse au cours de l'interaction, en s'appuyant sur des approches simples dans un premier temps, puis sur une nouvelle architecture neuronale récurrente dans un deuxième temps. Nous analysons ensuite nos modèles afin de déterminer les indices comportementaux les plus pertinents et comprendre les types d'erreur que ceux-ci commettent.

Trust is an important psychological construct in HRI as it mitagates the relationship qualities between partners of an interaction, as well as the performance of the interaction's task. Research on trust were essentially organized around the study of socio-psychological effects of the robot's design and behavior on users. Trust is usually measured through questionnaires filled by users themselves at the beginning and end of the interaction. In this thesis, we tackle the issue of automatic analysis of trust dynamics during the course of interaction. The standard Psychological approaches used in HRI to study, coming from a mentalist perspective, do not currently allow such analysis. We thus leverage Interactionist Sociology theories to create a coding scheme named TURIN (Trust in hUman Robot INteraction) dedicated to this task. From there, we use Machine Learning tools to develop multimodal models of trust. We propose a new methodology that allows to conduct the analysis over the course of the interaction, first through simple models, then by the design of a specific recurrent neural architecture. We finish by an analysis of ours models to determine which behaviors are the most indicative of trust and understand the types of errors thatthey make.