Suivi tridimensionnel de la main et reconnaissance de gestes pour les interfaces homme-machine

par Simon Conseil

Thèse de doctorat en Optique, électromagnétique et image

Sous la direction de Salah Bourennane.

Soutenue en 2008

à Aix-Marseille 3 .


  • Pas de résumé disponible.

  • Titre traduit

    Mapping business rules to an optimization engine


  • Résumé

    L’interprétation automatique de gestes basée sur la vision par ordinateur offre de nouvelles possibilités d’interaction avec l’ordinateur, plus naturelles et intuitives qu’avec les périphériques classiques. Cependant, le canal gestuel est un moyen de communication particulièrement riche et la main un objet articulé complexe. Ainsi, l’interaction homme-machine gestuelle constitue un axe de recherche particulièrement actif avec un potentiel applicatif important. Dans ce contexte, notre travail a consisté à remplacer le fonctionnement d’un écran tactile par un système de vision stéréoscopique avec deux caméras. Ainsi, le problème fondamental a consisté à suivre, en temps réel, le mouvement de la main et des doigts à partir de leurs projections dans les images, avant d’en reconnaître la posture. Les contraintes industrielles qui ont guidé nos travaux nous ont orienté vers une approche par apparence, avec des hypothèses réduites afin que le système soit peu contraignant pour l’utilisateur. Les différentes étapes abordées concernent la détection de la main basée sur la couleur de peau, l’extraction de caractéristiques invariantes, la comparaison de descripteurs de forme pour la reconnaissance de postures 2d, et le suivi 3d du mouvement des doigts et de la main avec un modèle squelettique. Les algorithmes ont été évalués à l’aide d’une base originale de vidéos stéréoscopiques, montrant l’amélioration notable des solutions proposées. La robustesse du système a également été confrontée aux conditions réelles d’une démonstration publique.


  • Résumé

    Automatic interpretation of gestures based on computer vision provides new possibilities of interaction with computers, more natural and intuitive than with classic devices. However, the gestural channel is a particularly rich means of communication and the hand is a complex articulated object. Thus, gesture-based human-computer interaction represents a particularly active research axis with an important potential of application. In this context, our work consisted in replacing the mechanism of a tactile screen by a system based on stereoscopic vision with two video cameras. Thus, the central issue consisted in tracking in real-time the movement of the hand and the fingers based on their projections on images, and in recognizing the posture. The industrial constraints which guided our work lead us to an appearance-based approach, with reduced hypothesis so that the system is little restrictive for the user. The different steps we address concern hand detection based on skin color, extraction of invariant features, comparison of shape descriptors for 2d posture recognition, and 3d finger and hand tracking with a skeleton model. The performances of the algorithms was evaluated with an original database of stereoscopic video sequences, showing the noticeable improvement of the proposed solutions. The system’s robustness was confronted to real conditions with a public demonstration.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (vii, 150 p.)
  • Annexes : Bibliogr. p. 141-150

Où se trouve cette thèse ?

  • Bibliothèque : Université d'Aix-Marseille (Marseille. Saint-Jérôme). Service commun de la documentation. Bibliothèque de sciences.
  • Disponible pour le PEB
  • Cote : 200068254
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.