Modèles de gestes expressifs

Expressive gesture model

• Auteur / Autrice : Quôc Anh Lê
• Direction : Catherine Pelachaud
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance le 26/06/2013
• Etablissement(s) : Paris, ENST
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Président / Présidente : Jean-Claude Martin
• Jury : Examinateurs / Examinatrices : Elisabetta Bevacqua, Tamy Boubekeur
• Jury : Rapporteurs / Rapporteuses : Rachid Alami, Mohamed Chetouani

Mots clés

Mots clés contrôlés

Systèmes homme-machine

Robots -- Mouvements

Modélisation tridimensionnelle

Gestes

Interfaces utilisateur (informatique)

Mots clés libres

Greta

Nao

Résumé

Cette thèse présente un modèle computationnel qui génère des gestes expressifs communicatifs accompagnant la parole, pour un agent humanoïde. Notre travail de recherche est basé sur l'étude de gestes humains. Trois questions de recherche sont abordées dans cette thèse. Tout d'abord, des gestes humains sont représentés de telle manière qu'ils soient réalisables pour les différents agents humanoïdes. Un ensemble de propriétés d'un geste comme la forme de la main, la position du poignet, la trajectoire du mouvement, etc. est défini afin d'encoder les gestes. Deuxièmement, les gestes sont planifiés pour être synchronisé avec la parole. Notre modèle repose sur la relation temporelle entre les gestes et la parole, dans un discours, pour calculer le temps des gestes. Troisièmement, ces gestes sont rendus expressifs. Étant dépendants de la personnalité ou des états émotionnels actuels de l'agent, la variété de ces gestes s'effectue en modulant un ensemble de paramètres d'expressivité du geste. Le modèle a été conçu de telle sorte que ces processus soient autant que possible indépendants de la représentation d'un agent. Jusqu'à présent, notre modèle est utilisé pour contrôler les gestes des agents virtuels Greta et le robot humanoïde réel Nao.

This thesis presents a computational model to generate expressive communicative gestures accompanying speech for a humanoid agent. Our research work is based on studies of human communicative gestures. Three research issues are addressed in this work. First, human gestures are encoded and reproduced in such a way that these gestures are realizable for different humanoid agents. A set of properties of a gesture such as hand shape, wrist position, movement trajectory, etc is used in order to encode gestures. Second, gestures are planned to be synchronized with speech. The model relies on the relationship between gestures and speech to schedule gesture timing. Third, these gestures are rendered expressively. Depending on the personality or the current emotional states of the agent, its gestures are varied by modulating a set of gesture expressivity dimensions. The model was designed in such a way that its processes are as much as possible independent of an agent’s embodiment. So far, this model has been used to control gestures of the Greta virtual agents and the Nao physical humanoid robot.