A linear estimation of the face's tridimensional pose and facial expressions

• Auteur / Autrice : José Alonso Ybanez Zepeda
• Direction : Maurice Charbit, Franck Davoine
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance en 2008
• Etablissement(s) : Paris, ENST

Mots clés

Mots clés contrôlés

Apprentissage automatique

Expression du visage

Vidéo

Résumé

L'objectif de la thèse est le suivi de visages et d'animations faciales dans des séquences vidéo. Après avoir introduit le sujet, nous proposerons une première méthode permettant de suivre la pose 3D et les animations faciales du visage détecté au début d'une séquence vidéo. Nous présenterons ensuite une méthode permettant d'initialiser le suivi du visage, en estimant la pose et la forme d'un visage inconnu, à partir d'une base de visages vus de face. Pour atteindre ces deux objectifs (initialisation et suivi), différentes approches seront décrites, utilisant un modèle géométrique de visage et une mise en correspondance de deux ensembles de variables: les perturbations du modèle géométrique en terme de pose 3D et de déformations, et les résidus correspondant (erreurs entre l'observation courante et le modèle d'apparence du visage à suivre). La relation de dépendance entre les deux ensembles de variables est décrite à l'aide d'une analyse canonique des corrélations ou d'une analyse canonique régularisée à noyaux. Nous montrerons enfin comment améliorer la détection de la pose et de la forme du visage, à l'aide d'un apprentissage supervisé incrémental. L'efficacité des méthodes sera évaluée à partir d'un grand nombre de séquences vidéo, et les résultats de suivi seront comparés à des vérités terrain.

The aim of the thesis is the face and facial animation tracking in video sequences. After introducing the topic, we propose a method to track the 3D pose and facial animations from a face detected at the beginning of a video sequence. We will then present a method to initialize the face tracking, estimating pose and form of an unknown face, based on a data base containing several faces. To achieve these two objectives (initialization and tracking), different approaches are described, using a geometric model of the face and matching two sets of variables: the perturbations of the geometric model in terms of the 3D pose parameters and the deformation and corresponding residues (errors between the current observation and appearance model of the face to be tracked). The relationship between the two sets of variables is described through a canonical correlation. We will show how to improve detection of the 3D pose and the shape of the face, using an incremental supervised learning. The effectiveness of these methods will be evaluated from a large number of video sequences, and tracking results will be compared to ground truths.