Lip analysis for person recognition

Analyse des lèvres pour reconnaissance des personnes

• Auteur / Autrice : Usman Saeed
• Direction : Jean-Luc Dugelay
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance en 2010
• Etablissement(s) : Paris, Télécom ParisTech

Mots clés

Mots clés contrôlés

Fusion multicapteurs

Traitement d'images -- Techniques numériques

Biométrie

Résumé

Dans cette thèse nous nous concentrons sur une caractéristique locale du visage humain que sont les lèvres en termes de pertinence et influence sur la reconnaissance de la personne. Une étude détaillée est réalisée à l'égard de différentes étapes, telles que la détection, l'évaluation, la normalisation et les applications liées de la bouche. Au départ, on présente un algorithme de détection des lèvres en fusionnant deux méthodes indépendantes. La première méthode est basée sur la détection de contours et la deuxième orientée sur la segmentation. On exploite leurs points forts en combinant les deux méthodes par fusion. Ensuite, on extrait les caractéristiques qui modélisent l'aspect comportemental du mouvement des lèvres lorsque la personne parle afin de les exploiter pour la reconnaissance des personnes. Les caractéristiques du comportement incluent des caractéristiques statiques, et des caractéristiques dynamiques en fonction du flux optique. Ces caractéristiques sont utilisées pour construire le modèle du client par une Mixture de Gaussiennes et enfin la classification est réalisée en utilisant une règle de décision bayésienne. Enfin, on propose une méthode de normalisation temporelle pour le traitement des variations du mouvement des lèvres pendant le discours. Étant donné plusieurs vidéos où une personne répète la même phrase plusieurs fois, nous étudions le mouvement des lèvres dans l'une de ces vidéos et on sélectionne certaines images clés comme images de synchronisation. Après, on synchronise le reste des vidéos par rapport au images clés de la première vidéo. Enfin toutes les vidéos sont normalisées temporellement par interpolation à l'aide de "morphing".

In this doctoral dissertation we focus on a local feature of the human face namely the lip and analyse it for its relevance and influence on person recognition. In depth study is carried out with respect to various steps involved, such as detection, evaluation, normalization and the applications of the human lip motion. Initially we present a lip detection algorithm that is based on the fusion of two independent methods. The first method is based on edge detection and the second one on region segmentation, each having distinct characteristics and thus exhibit different strengths and weaknesses. We exploit these strengths by combining the two methods using fusion. Next we extract features which model the behavioural aspect of lip motion during speech and exploit them for person recognition. The behavioural features include static features and dynamic features based on optical flow. These features are used to build client model by Gaussian Mixture Model (GMM) and finally the classification is achieved using a Bayesian decision rule. Lastly we propose a temporal normalization method for handling the variation caused by lip motion during speech. Given a group of videos for a person uttering the same sentence multiple times we study the lip motion in one of the videos and select certain key frames as synchronization frames. We then synchronize these frames from the first video with the remaining videos of the same person. Finally all the videos are normalized temporally by interpolation using lip morphing.