Caractérisation et reconnaissance de gestes dans des vidéos à l'aide de modèles markoviens

Characterization and recognition of gestures in videos using Markov models

• Auteur / Autrice : Selma Belgacem
• Direction : Thierry Paquet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2014
• Etablissement(s) : Rouen
• Ecole(s) doctorale(s) : École doctorale sciences physiques mathématiques et de l'information pour l'ingénieur (Saint-Etienne-du-Rouvray, Seine-Maritime ; ....-2016)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de traitement de l'information et des systèmes (Saint-Etienne du Rouvray, Seine-Maritime ; 2006-...)

Mots clés

Mots clés contrôlés

Markov, Processus de

Homme -- Attitude et mouvement

Analyse du mouvement

Vidéo

Reconnaissance des formes (informatique)

Résumé

Cette thèse concerne l’analyse de gestes, et plus particulièrement la caractérisation et la reconnaissance de gestes. L’analyse des données gestuelles est un axe de recherche impliquant les domaines de la communication Homme-Machine, de gestion des documents vidéo et du traitement du signal. La contribution principale de notre travail de thèse est l’étude, la conception et la mise en oeuvre, d’un système markovien hybride pour la reconnaissance des données séquentielles. La tâche de reconnaissance combine classiquement deux tâches : la segmentation et la classification. Le modèle hybride proposé combine ainsi la capacité de modélisation et de segmentation des Modèles de Markov Cachés et la capacité de discrimination locale des Champs Aléatoires Conditionnels. Nous avons appliqué ce système hybride à la reconnaissance des séquences de gestes dans des vidéos, dans le cadre applicatif de l’apprentissage avec un seul exemple. Les bonnes performances de reconnaissance obtenues dans le contexte de la compétition ChaLearn montrent l’intérêt de l’approche proposée pour l’apprentissage avec peu de données. La tâche de reconnaissance nécessite une étape de caractérisation des données. Dans le cadre de la caractérisation des gestes, nous proposons deux contributions. La première contribution est une amélioration du suivi local de la main dominante dans un geste avec les filtres particulaires. Cette amélioration est basée principalement sur une pénalisation issue des flots optiques de l’estimateur, et une génération automatique d’un vocabulaire de référence. La deuxième contribution est la proposition d’une méthode de caractérisation globale du geste que nous appelons une « signature du geste ». La signature du geste décrit la localisation, la vélocité et l’orientation du mouvement global dans un geste en combinant des informations de vitesse calculée avec les flots optiques.

This PHD thesis concerns the analysis of gestures, especially the characterization and the recognition of gestures. The analysis of gestural data is a research field which involves Human-Machine communication, video management and signal processing fields. The main contribution of this PHD thesis is the design and implementation of a hybrid Markov system for sequential data recognition. The recognition task typically combines two tasks : segmentation and classification. Therefore, the proposed hybrid model combines the ability of modeling and segmentation of Hidden Markov Models and the ability of local discrimination of Conditional Random Fields. We applied this hybrid system to the recognition of gesture sequences in videos in the context of one-shot-learning. The interesting recognition performances achieved in the context of the competition of ChaLearn show the advantage of the proposed approach for the context of learning with few examples. The recognition task requires a step of data characterization. In the context of gesture characterization, we propose two contributions. The first contribution is an improvement of local tracking of the dominant hand in a gesture with particle filters. This improvement is mainly based on a penalisation, computed with optical flow method, of the estimator and an automatic vocabulary reference generation. The second contribution is a method of global characterization of a gesture that we call the ''gesture signature''. The gesture signature describes the location, velocity and orientation of the global movement in a gesture combining velocity information calculated with optical flow method.