GRAB-HAI : génération des comportements réciproquement adaptatifs pour les interactions humain-agent

GRAB-HAI : Generating Reciprocally Adaptive Behavior for Human-Agent Interaction

• Auteur / Autrice : Jieyeon Woo
• Direction : Catherine Achard, Catherine Pelachaud
• Type : Thèse de doctorat
• Discipline(s) : Automatique et robotique
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Mohamed Chetouani
• Jury : Examinateurs / Examinatrices : Florian Pecune, Quoc Cuong Pham
• Jury : Rapporteurs / Rapporteuses : Ginevra Castellano, Magalie Ochs

Mots clés

Mots clés contrôlés

Expression du visage

Multimodalité (linguistique)

Apprentissage profond

Agents conversationnels

Interaction humain-machine

Mots clés libres

Deep Learning

Multi-Modalité

Agents conversationnels animés (ACA)

Interactions Humain-Agent

Adaptation

Génération des expressions faciales

Deep Learning

Multi-Modality

Embodied Conversational Agent (ECA)

Human-Agent Interaction

Adaptation

Facial Expression Generation

Résumé

L'information se transmet d'une personne à une autre par le biais de la communication. Au cours de ce transfert, nous exprimons nos pensées et intentions à travers des signaux multimodaux tels que les mots, les gestes et la prosodie. Cet échange de signaux est un processus bidirectionnel d'envoi et de réception où les comportements des interlocuteurs s'ajustent mutuellement. Cette adaptation est continue, dynamique et réciproque, que nous appelons adaptation réciproque. L'adaptation aux autres permet des interactions captivantes et efficaces. Conférer de telles capacités aux agents conversationnels animés (ACA) et aux robots les rend plus sociaux et captivants, et les fait percevoir comme naturels et semblables à des humains. Néanmoins, cette dotation est une tâche ardue. Les agents doivent savoir comment s'adapter en tant qu'orateurs ou auditeurs tout en émettant des comportements liés à leur propre discours synchronisé sur leurs modalités, la relation intrapersonnelle et les comportements de leur interlocuteur, la relation interpersonnelle. Le cœur de cette thèse vise à développer un ACA adaptatif doté de capacités d'adaptation réciproque. Nous proposons des modèles informatiques, ASAP et HI2-ADAM, pour rendre les comportements adaptatifs de l'ACA en tant qu'orateurs ou auditeurs. ASAP génère des comportements adaptatifs et continus en utilisant des informations de signaux multimodaux de l'utilisateur et de lui-même en modélisant la relation interpersonnelle entre eux. HI2-ADAM capture l'adaptation réciproque et la relation intrapersonnelle de manière explicite en modélisant l'historique de chaque modalité de chaque interlocuteur et en apprenant de la relation entre ces différentes histoires. Comme il est important pour les agents d'agir en tant que partenaires d'interaction et d'adapter continuellement leurs comportements en temps réel, nous créons un agent interactif et adaptatif en temps réel, le système IAVA, et proposons de nouvelles mesures, des mesures d'adaptation réciproque, pour l'évaluation de la qualité de l'interaction entre l'humain et l'agent.

Information is transferred from one person to another via communication. Through this transfer, we convey our thought and intentions via multimodal signals such as words, gestures, and prosody. This exchange of signals is a two-way process of sending and receiving where the behaviors of the interlocutors adapt to each other. Such adaptation is continuous, dynamical, and reciprocal which we refer to as reciprocal adaptation. Adapting to others allows interactions to be engaging and effective. Endowing such capacity to embodied agents, Socially Interactive Agents (SIAs) and robots, can make them more social and engaging and perceived as natural and human-like. Nevertheless, this endowment is a challenging task. The agents need to know how to adapt as both a speaker or a listener while emitting behaviors related to its own speech synchronized over its modalities, intrapersonal relationship, and with its interlocutor’s behaviors, interpersonal relationship. The central focus of this thesis is to develop an adaptive SIA with reciprocal adaptation capabilities. We propose computational models, ASAP and HI2-ADAM, to render SIA’s adaptive behaviors as both speaker or a listener. ASAP generates adaptive and continuous behavior using multimodal signal information from its user and itself by modeling the interpersonal relationship between them. HI2-ADAM captures the reciprocal adaptation and intrapersonal relationship in an explicit way by modeling each modality history of each interlocutor and learning from the relation between these different histories. As it is important for agents to act as interaction partners and continuously adapt their behaviors in real time, we create a real-time interactive and adaptive agent, IAVA system, and provide new measures, reciprocal adaptation measures, for the evaluation of human-agent interaction quality.