Conception d'un système de vision événementiel biomimétique pour la détection des chutes

par Junyuan Wang

Projet de thèse en Stic - ed em2psi

Sous la direction de Olivier Romain, Florian Kölbl et de Camille Simon Chane.

Thèses en préparation à Cergy-Pontoise , dans le cadre de Ecole doctorale Économie, Management, Mathématiques , Physique et Sciences Informatiques (EM2PSI) (Cergy-Pontoise, Val d'Oise) , en partenariat avec ETIS - Equipes Traitement de l'Information et Systèmes (laboratoire) depuis le 01-02-2019 .


  • Résumé

    Dans ce contexte, le projet SEEING propose d'étudier un nouveau paradigme reposant sur des caméras événementielles associées à un processeur neuromorphique mixte adaptatif (analogique / numérique) hébergé sur des circuits reconfigurables (Field Analog Analog Array et FPGA). Contrairement aux caméras classiques qui sont synchronisées sur un signal d'horloge et chaque période d'horloge est associée à un nouvel ensemble de données pour chaque pixel, les caméras à événement sont asynchrones: les pixels sont indépendants les uns des autres et envoient une information uniquement en cas de changement. dans son champ de vision; Par conséquent, ils sont particulièrement adaptés aux tâches de surveillance car ils n'enregistrent que des informations lorsque et où un mouvement ou un changement se produit. Les données sont donc naturellement filtrées et les contraintes sur l'étape de traitement sont réduites. Le signal de sortie des caméras événementielles est généralement codé au format AER (Address Event Representation). Les événements sont transmis immédiatement lorsqu'ils sont détectés dans un vecteur contenant à la fois les coordonnées d'occurrence spatiales et temporelles. Cette représentation nécessite un traitement spécifique que les outils de vision assistée par ordinateur courants ne prennent pas en charge, tandis que de nouveaux algorithmes apparaissent dans le domaine du traitement de données événementiel. Ces algorithmes sont actuellement exécutés sur des architectures conventionnelles. Peu de tâches visuelles, telles que la détection de chute ou de comportement, sont difficiles à mettre en œuvre dans une telle architecture; Cependant, elles sont évidentes et transparentes pour un cerveau humain, par exemple.

  • Titre traduit

    Design of an biomimetic event-based vision system for fall detection


  • Résumé

    The project SEEING propose to investigate a novel paradigm relying on event-based cameras associated with an adaptive mixed (analog/digital) neuromorphic processor hosted on reconfigurable circuits (Field Programmable Analog Array and FPGA). Unlike classical cameras that are synchronized to a clock signal and each clock period is associated to a new set of data for each pixel, event-based cameras are asynchronous: pixels are independent one from each other and send an information only when there is a change in its viewing range; Hence they are particularly adapted to surveillance tasks as they only record information when and where a movement or a change occur. Data are therefore naturally filtered, and constraints on the processing stage are reduced. The output signal of event-based cameras is usually coded in AER format (Address Event Representation). Events are transmitted immediately when detected in a vector containing both spatial and temporal coordinates of occurrence. This representation requires a specific processing that common computer assisted vision tools do not support, whereas novel algorithms emerge in the field of event-based data processing. These algorithms are currently executed on conventional architectures. Few visual tasks, such as fall or behavior detection, are difficult to implement of such architecture; however, they are obvious for and transparent for a human brain for instance.