Suivi 2D de visages et de mouvements faciaux

par Soumya Hamlaoui

Thèse de doctorat en Technologies de l'information et des systèmes

Sous la direction de Franck Davoine.

Soutenue en 2006

à Compiègne .

mots clés

• Suivi stochastique du visage
• Filtrage particulaire
• Algorithme de condensation
• Modèles actifs d'apparence
• Perception des visages
• Filtres (mathématiques)
• Algorithmes
• Perception visuelle du mouvement
• Analyse dimensionnelle
• Vidéo
• Expression du visage
• Processus stochastiques

Résumé

Cette thèse traite de la problématique du suivi de visages dans des séquences vidéo. Nos objectifs pratiques se situent à deux niveaux distincts et complémentaires : le mouvement global 2D du visage et les mouvements faciaux internes. La robustesse de l'approche proposée est conditionnée par sa capacité à intégrer des perturbations extérieures telles que les variations d'éclairage et les problèmes d'occultation du visage. Pour cela, nous proposons un suivi stochastique basé sur le filtrage particulaire. La distribution des observations est dérivée soit d'un modèle actif d'apparence, soit d'un modèle d'apparence calculé en ligne. L'évolution du système d'état est décrite par une dynamique guidée par une recherche déterministe. Le nombre de particules est ajusté aux besoins effectifs du suivi à chaque pas temporel. L'utilisation d'une mesure robuste augmente la robustesse du suivi en cas d'occultation. Les tests d'évaluation des méthodes proposées montrent des résultats satisfaisants.

Titre traduit

2D tracking of faces and facial actions

Résumé

Tracking a face and its facial features in a video sequence is a challenging problem in computer vision. This thesis addresses the problem of tracking the 2D global motion of a face as well as the local motion of its inner features. Ln this thesis, we propose a stochastic approach based on a particle filtering scheme. The observation distribution is derived from an active appearance model, or from an on-Iine estimated appearance model. The dynamics describing the state system evolution are guided by a deterministic research. The particle number is adjusted to the effective needs of the tracking at each time step. This adjustment allows an optimization of the computing time. We also use a robust distance measure which increases the tracking robustness when the face is partially occulted. Experiments on real video show encouraging results.