Analyse de mouvement facial sur des images monoculaires avec application aux télécommunications : couplage de la compréhension de l'expression et du suivi de la pose du visage

Facial motion analysis on monocular images for telecom applications : coupling expression and pose understanding

• Auteur / Autrice : Ana Cristina Andrés del Valle
• Direction : Jean-Luc Dugelay
• Type : Thèse de doctorat
• Discipline(s) : Sciences. Signal et images
• Date : Soutenance en 2003
• Etablissement(s) : Paris, ENST

Mots clés

Mots clés libres

Animation faciale

Image monoculaire

Fap

Télécommunication

3d

Filtrage Kalman

FAP streaming

Couplage

Résumé

Les techniques d'animation faciale sont devenues un sujet actif de recherche dans la communauté des télécommunications. Ce domaine a pour but de remplacer les systèmes traditionnels de communications par des solutions plus adaptées aux besoins humains, en utilisant, par exemple, la réalité virtuelle. Ce rapport expose minutieusement une nouvelle approche pour étudier les expressions faciales couplées avec le suivi du visage. Nous avons développé des méthodes d'analyse spécifiques pour chaque trait caractéristique du visage que nous avons considéré comme les éléments les plus importants pendant la communication : les yeux, les sourcils et la bouche. Nous avons conçu des algorithmes basés sur la physionomie du locuteur et qui utilisent des modèles de mouvement individuels pour chacun des traits. Les algorithmes font une double vérification de la cohérence des résultats en utilisant la corrélation existant entre les traits analysés. D'abord, ces algorithmes ont été développés et testés pour fonctionner sur des visages analysés depuis un point de vue frontal. Ensuite, ils ont été adaptés pour travailler avec n'importe quelle pose en utilisant des paramètres de la pose et des données 3D du clone. Cette solution permet une plus grande liberté de mouvement du locuteur face à la camera. L'adaptation est possible en redéfinissant les modèles d'analyse des traits sur le clone (le modèle 3D), et en réinterprétant l'information analysée en relation avec les paramètres 3D qui indiquent la pose du visage. Ce travail contient les résultats expérimentaux, les contributions principales et les références bibliographiques pertinentes sur l'ensemble des travaux de recherche.

Facial animation has become an active research topic in telecommunications. This field aims at replacing traditional communication systems by more human oriented solutions based on virtual reality technology. This work exposes in detail novel techniques to study non-rigid facial motion coupled with head pose tracking. Specific feature analysis methods have been developed to study each one of the features that we believe to be the most relevant while communicating: eye, eyebrows and mouth. We have designed image-processing algorithms based on the physiognomy of the speaker and individual motion models that exploit the correlation existing among the analyzed features. The analysis techniques have been first developed for faces being analyzed from a frontal point of view and then, using the pose parameters derived from the tracking and the 3D data of the clone, they have been adapted to allow the speaker more freedom of movement in front of the camera. This adaptation is possible by redefining the 2D analysis models over the the clone (3D head model), in 3D, and reinterpreting the analyzed data in accordance with the 3D location of the head. This report contains experimental results, main contributions and relevant bibliographic references of the overall research