Vision par ordinateur pour la reconnaissance en temps réel de gestes des doigts du conducteur

by Yannick Jacob

Thesis project in Informatique temps réel, robotique et automatique - Paris

Under the supervision of Fabien Moutarde and Sotirios Manitsaris.

Ongoing thesis at Paris Sciences et Lettres , under the authority of Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique , in a partnership with Mathématiques et Systèmes (laboratoire) , CAOR - Centre de CAO et Robotique (equipe de recherche) and École nationale supérieure des mines (Paris) (établissement de préparation de la thèse) since 14-05-2014 .

  • Alternative Title

    Computer vision for real-time driver finger gesture recognition


  • Abstract

    The goal of this studentship is to conceive and develop new interaction possibilities between the driver and the vehicle. The potential system is based on a camera to track the driver's hand and recognise his gesture especially those of the fingers in the vicinity of the wheel.


  • Abstract

    L'objectif de cette thèse CIFRE, co-encadrée par le centre de robotique CAOR et PSA Peugeot Citroën, est de concevoir et développer de nouveaux moyens d'interaction entre le conducteur et son véhicule. Le système envisagé utiliserait une caméra (de profondeur, ou bande proche infra-rouge) pour suivre correctement les mains du conducteur et reconnaître les gestes, en particulier de doigts, qu'il effectue aux alentour du volant. Les algorithmes doivent être suffisamment robustes pour être tolérant aux conditions extrêmes de lumière, de température et de vibrations. Le dispositif se doit aussi d'être tolérant à toutes les variations de type facteur humain (caractéristiques physiques, amplitude et rapidité des mouvements, etc…). De plus, le geste doit être interprété en fonction du contexte, et éviter les confusions avec des gestes « involontaires » du conducteur. Le doctorant devra donc tout d'abord finaliser les spécifications du type de caméra (3D, infra-rouge, autres technologies) à utiliser, de leur nombre et positionnement. Il devra ensuite concevoir, implémenter et évaluer les algorithmes de traitement d'images (et/ou de signal) et de reconnaissance de gestes, adaptés au cas particulier du mouvement de doigts et des mains, et compatibles avec les objectifs de robustesse. De plus, un soin particulier sera mis à prendre en compte les contraintes (puissance de calcul, notamment) liées au système d'électronique embarquée.