Modélisation des expressions faciales émotionnelles et de leur dynamique pour l'animation faciale réaliste de personnages virtuels

Modeling emotional facial expressions and their dynamics for realistic interactive facial animation on virtual characters

• Auteur / Autrice : Nicolas Stoiber
• Direction : Jacques Palicot
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et télécommunications
• Date : Soutenance en 2010
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : autre partenaire : Université européenne de Bretagne (2007-2016)

Mots clés

Mots clés contrôlés

Traitement du signal -- Techniques numériques

Vision par ordinateur

Avatars (informatique)

Expression du visage

Animation par ordinateur

Résumé

Dans les mondes virtuels, une des tâches les plus complexes est l'intégration de personnages virtuels réalistes et le visage est souvent considéré comme l'élément le plus important car il concentre les canaux de communications humains les plus essentiels. Dans ces travaux, nous nous concentrons sur les expressions faciales émotionnelles. Nous proposons une approche qui apprend les caractéristiques des expressions faciales directement sur des visages humains, et utilise cette connaissance pour générer des animations faciales réalistes pour des visages virtuels. Nos contributions sont les suivantes :une méthode capable d'extraire de données brutes un espace simple et pertinent pour la représentation des expressions faciales émotionnelles, cet espace de représentation peut ensuite être utilisé pour la manipulation intuitive des expressions ; un système d'animation, basé sur une collection de modèles de mouvement, qui pilote l'aspect dynamique de l'expressivité faciale. Les modèles de mouvement apprennent la signature dynamique des expressions naturelles à partir de données, et reproduisent cette signature lors de la synthèse de nouvelles animations. Le système global d'animation issu des ces travaux est capable de générer des animations faciales réalistes et adaptatives pour des applications temps-réel telles que les jeux vidéos ou les agents conversationnels. En plus de ses performances, le système peut être associé aux notions plus abstraites d'émotions humaines. Ceci rend le processus d'animation faciale plus intuitif, en particulier pour les utilisateurs non-experts et les applications d''affective computing' qui travaillent généralement à un niveau sémantique.

In all computer-graphics applications, one stimulating task has been the integration of believable virtual characters. Above all other features of a character, its face is arguably the most important one since it concentrates the most essential channels of human communication. In this work we focus on emotional facial expressions, which we believe represent the most interesting type of non-verbal facial communication. We propose an animation framework that learns practical characteristics of emotional facial expressions from human faces, and uses these characteristics to generate realistic facial animations for synthetic characters. Our main contributions are: - A method that automatically extracts a meaningful representation space for expressive facial deformations from the processing of actual data. This representation can then be used as an interface to intuitively manipulate facial expressions on any virtual character. - An animation system, based on a collection of motion models, which explicitly handles the dynamic aspect of natural facial expressions. The motion models learn the dynamic signature of expressions from data, and reproduce this natural signature when generating new facial movements. The obtained animation framework can ultimately synthesize realistic and adaptive facial animations in real-time interactive applications, such as video games or conversational agents. In Addition to its efficiency, the system can easily be associated to higher-level notions of human emotions; this makes facial animation more intuitive to non-expert users, and to affective computing applications that usually work at the semantic level.