La branche émotion, un modèle conceptuel pour l’intégration de la reconnaissance multimodale d’émotions dans des applications interactives : application au mouvement et `a la danse augmentée

• Auteur / Autrice : Alexis Clay
• Direction : Maylis Delest, Nadine Rouillon-Couture, Laurence Nigay
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/12/2009
• Etablissement(s) : Bordeaux 1
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Jury : Président / Présidente : Guy Melançon
• Jury : Examinateurs / Examinatrices : Jean-Baptiste de La Rivière, Wilfrid Lefer
• Jury : Rapporteurs / Rapporteuses : Alice Caplier, Jean-Claude Martin

Mots clés

Mots clés contrôlés

Réalité augmentée

Composants logiciels

Interaction humain-machine

Mots clés libres

Interaction homme-machine

Composants logiciels

Réalité augmentée

Émotion

Multimodalité

Danse

Reconnaissance

Gestuelle

Modèle conceptuel

Mouvement

Man-machine interaction

Emotion recognition

Conceptual model

Software components

Multimodality

Gesture

Movement

Augmented reality

Dance

Résumé

La reconnaissance d'émotions est un domaine jeune mais dont la maturité grandissante implique de nouveaux besoins en termes de modélisation et d'intégration dans des modèles existants. Ce travail de thèse expose un modèle conceptuel pour la conception d'applications interactives sensibles aux émotions de l'utilisateur. Notre approche se fonde sur les résultats conceptuels issus de l'interaction multimodale: nous redéfinissons les concepts de modalité et de multimodalité dans le cadre de la reconnaissance passive d'émotions. Nous décrivons ensuite un modèle conceptuel à base de composants logiciels s'appuyant sur cette redéfinition: la branche émotion, facilitant la conception, le développement et le maintien d'applications reconnaissant l'émotion de l'utilisateur. Une application multimodale de reconnaissance d'émotions par la gestuelle a été développée selon le modèle de la branche émotion et intégrée dans un système d'augmentation de spectacle de ballet sensible aux émotions d'un danseur.

Computer-based emotion recognition is a growing field which develops new needs in terms of software modeling and integration of existing models. This thesis describes a conceptual framework for designing emotionally-aware interactive software. Our approach is based upon conceptual results from the field of multimodal interaction: we redefine the concepts of modality and multimodality within the frame of passive emotion recognition. We then describe a component-based conceptual model relying on this redefinition. The emotion branch facilitates the design, development and maintenance of emotionally-aware systems. A multimodal, interactive, gesture-based emotion recognition software based on the emotion branch was developed. This system was integrated within an augmented reality system to augment a ballet dance show according to the dancer's expressed emotions.