Génération de la prosodie audio-visuelle pour les acteurs virtuels expressifs

Generation of audio-visual prosody for expressive virtual actors

• Auteur / Autrice : Adela Barbulescu
• Direction : Rémi Ronfard, Gérard Bailly
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Informatique
• Date : Soutenance le 23/11/2015
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble) - Grenoble Images parole signal automatique (2007-....)
• Jury : Président / Présidente : Marie-Christine Rousset
• Jury : Examinateurs / Examinatrices : Marc Swerts, Slim Ouni
• Jury : Rapporteurs / Rapporteuses : Ronan Boulic, Catherine Pelachaud

Mots clés

Mots clés contrôlés

Prosodie (linguistique)

Animation par ordinateur

Mots clés libres

Acteur virtuel

Prosodie audio-Visuelle

Attitude

Virtual actor

Audio-Visual prosody

Attitude

Résumé

Le travail presenté dans cette thèse adresse le problème de génération des performances expressives audio-visuelles pour les acteurs virtuels. Un acteur virtuel est répresenté par une tête parlante en 3D et une performance audio-visuelle contient les expressions faciales, les mouvements de la tête, la direction du regard et le signal de parole.Si une importante partie de la littérature a été dediée aux émotions, nous explorons ici les comportements expressifs verbaux qui signalent les états mentaux, i.e. "ce que le locuteur sent par rapport à ce qu'il dit". Nous explorons les caractéristiques de ces attitudes dites dramatiques et la manière dont elles sont encodées par des signatures prosodiques spécifiques pour une personne i.e. des motifs spécifiques à l'état mental de trajectoires de paramètres prosodiques audio-visuels.

The work presented in this thesis addresses the problem of generating audio-visual expressive performances for virtual actors. A virtual actor is represented by a 3D talking head and an audio-visual performance refers to facial expressions, head movements, gaze direction and the speech signal.While an important amount of work has been dedicated to emotions, we explore here expressive verbal behaviors that signal mental states, i.e "how speakers feel about what they say". We explore the characteristics of these so-called dramatic attitudes and the way they are encoded with speaker-specific prosodic signatures i.e. mental state-specific patterns of trajectories of audio-visual prosodic parameters.