Analyse des mouvements et gestes des piétons via caméra embarquée pour la prédiction de leurs intentions

par Joseph Gesnouin

Projet de thèse en Informatique temps réel, robotique et automatique - Paris

Sous la direction de Fabien Moutarde et de Bogdan Stanciulescu.

Thèses en préparation à Paris Sciences et Lettres , dans le cadre de Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris) , en partenariat avec Mathématiques et Systèmes (laboratoire) , CAOR - Centre de CAO et Robotique (equipe de recherche) et de École nationale supérieure des mines (Paris) (établissement de préparation de la thèse) depuis le 01-10-2019 .


  • Résumé

    Le véhicule autonome est un enjeu majeur de la mobilité de demain. Des avancées sont réalisées tous les jours pour parvenir à sa réalisation ; il reste cependant de nombreux problèmes à résoudre pour parvenir à un résultat sûr vis-à-vis des utilisateurs de la route les plus vulnérables, et notamment les piétons. En effet, détecter et comprendre le comportement d'un être humain du point de vue du véhicule autonome est essentiel pour que celui-ci puisse prendre les bonnes décisions. Une solution simple consiste à s'arrêter dès que la situation devient critique ou qu'un piéton se trouve « proche » du véhicule. Cette solution reste cependant très loin d'être satisfaisante en termes d'efficience et de qualité de service. La résurgence des réseaux de neurones depuis une dizaine d'année due à l'explosion de la capacité de calculs apportée par les GPU fournit aujourd'hui de nouvelles solutions pour aborder certains problèmes impossibles à résoudre par des approches classiques. l'objectif de ces travaux sera de définir une solution exploitant l'information caméra (domaine image) et reposant sur les réseaux de neurones pour concevoir un système capable de comprendre l'intention d'un piéton en fonction de sa gestuelle (pas pressés, attention du piéton vis-à-vis de son environnement, …) et de définir à partir de celle-ci la localisation future du piéton de manière à déterminer s'il est susceptible de représenter un obstacle pour le véhicule autonome ou non.

  • Titre traduit

    Analysis of pedestrian movements and gestures using an on-board camera to predict their intentions


  • Résumé

    The autonomous vehicle is a major challenge for the mobility of tomorrow. Progress is being made every day to achieve it; however, many problems remain to be solved to achieve a safe outcome for the most vulnerable road users, including pedestrians. Indeed, detecting and understanding a human being's behaviour from the point of view of the autonomous vehicle is essential if it is to make the right decisions. A simple solution is to stop as soon as the situation becomes critical or a pedestrian is "close" to the vehicle. However, this solution is still far from satisfactory in terms of efficiency and service quality. The resurgence of neural networks over the past decade due to the explosion in computing capacity brought by GPUs now provides new solutions to address some problems that cannot be solved by conventional approaches. the objective of this work will be to define a solution using camera information (image domain) and based on neural networks to design a system capable of understanding a pedestrian's intention according to his gestures (not in a hurry, attention of the pedestrian towards his environment,...) and to define from this the future location of the pedestrian in order to determine if he is likely to represent an obstacle for the autonomous vehicle or not.