Gestion de la variabilité morphologique pour la reconnaissance de gestes naturels à partir de données 3D

Addressing morphological variability for natural gesture recognition from 3D data

• Auteur / Autrice : Anthony Sorel
• Direction : Franck Multon, Richard, James, Guy Kulpa
• Type : Thèse de doctorat
• Discipline(s) : Sciences et techniques des activités physiques et sportives (STAPS)
• Date : Soutenance le 06/12/2012
• Etablissement(s) : Rennes 2
• Ecole(s) doctorale(s) : École doctorale Sciences humaines et sociales (Rennes)
• Partenaire(s) de recherche : PRES : Université européenne de Bretagne (2007-2016)
• Jury : Président / Présidente : Sylvie Gibet
• Jury : Examinateurs / Examinatrices : Erwan Mahé
• Jury : Rapporteurs / Rapporteuses : Éric Anquetil, Gilles Dietrich

Mots clés

Mots clés contrôlés

Cinématique

Interaction humain-machine

Modélisation tridimensionnelle

Markov, Processus de

Perception visuelle du mouvement

Mots clés libres

Reconnaissance automatique

Mouvements naturels

Vecteur descripteur

Modèles de Markov cachés (HMM)

Automatic recognition

Natural gesture

Feature vector

Hidden Markov model (HMM)

Résumé

La reconnaissance de mouvements naturels est de toute première importance dans la mise en oeuvre d’Interfaces Homme-Machine intelligentes et efficaces, utilisables de manière intuitive en environnement virtuel. En effet, elle permet à l’utilisateur d’agir de manière naturelle et au système de reconnaitre les mouvements corporel effectués tels qu’ils seraient perçu par un humain. Cette tâche est complexe, car elle demande de relever plusieurs défis : prendre en compte les spécificités du dispositif d’acquisition des données de mouvement, gérer la variabilité cinématique dans l’exécution du mouvement, et enfin gérer les différences morphologiques inter-individuelles, de sorte que les mouvements de tout nouvel utilisateur puissent être reconnus. De plus, de part la nature interactive des environnements virtuels, cette reconnaissancedoit pouvoir se faire en temps-réel, sans devoir attendre la fin du mouvement. La littérature scientifique propose de nombreuses méthodes pour répondre aux deux premiers défis mais la gestion de la variabilité morphologique est peu abordée. Dans cette thèse, nous proposons une description du mouvement permettant de répondre à cette problématique et évaluons sa capacité à reconnaitre les mouvements naturels d’un utilisateur inconnu. Enfin, nous proposons unenouvelle méthode permettant de tirer partie de cette représentation dans une reconnaissance précoce du mouvement

Recognition of natural movements is of utmost importance in the implementation of intelligent and effective Human-Machine Interfaces for virtual environments. It allows the user to behave naturally and the system to recognize its body movements in the same way a human might perceive it. This task is complex, because it addresses several challenges : take account of the specificities of the motion capture system, manage kinematic variability in motion performance, and finally take account of the morphological differences between individuals, so that actions of any new user can be recognized. Moreover, due to the interactive nature of virtual environments, this recognition must be achieved in real-time without waiting for the motion end. The literature offers many methods to meet the first two challenges. But the management of the morphological variability is not dealt. In this thesis, we propose a description of the movement to address this issue and we evaluate its ability to recognize the movements of an unknown user. Finally, we propose a new method to take advantage of this representation in early motion recognition