Calcul neuromorphique à l'aide de capteurs évènementiels : algorithmes et implémentations matérielles

Neuromorphic computation using event-based sensors : from algorithms to hardware implementations

• Auteur / Autrice : Germain Haessig
• Direction : Ryad Benosman
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 14/09/2018
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut de la vision (Paris ; 2009-....)
• Jury : Président / Présidente : Stéphane Régnier
• Jury : Examinateurs / Examinatrices : Bernabé Linares-Barranco, Sio-Hoï Ieng
• Jury : Rapporteurs / Rapporteuses : Giacomo Indiveri

Mots clés

Mots clés contrôlés

Algorithmes

Réseaux neuronaux (informatique)

Optique

Capteurs (technologie)

Mots clés libres

Neuromorphique

Évenementiel

Vision

Flot optique

Épars

Disruptif

Neuromorphic

Event-based

Vision

Optical flow detection

Sparse

Disruptive

Résumé

Cette thèse porte sur l’implémentation d’algorithmes événementiels, en utilisant, dans un premier temps, des données provenant d’une rétine artificielle, mimant le fonctionnement de la rétine humaine, pour ensuite évoluer vers tous types de signaux événementiels. Ces signaux événementiels sont issus d’un changement de paradigme dans la représentation du signal, offrant une grande plage dynamique de fonctionnement, une résolution temporelle importante ainsi qu’une compression native du signal. Sera notamment étudiée la réalisation d’un dispositif de création de cartes de profondeur monoculaires à haute fréquence, un algorithme de tri cellulaire en temps réel, ainsi que l’apprentissage non supervisé pour de la reconnaissance de formes. Certains de ces algorithmes (détection de flot optique, construction de cartes de profondeur en stéréovision) seront développés en parallèle sur des plateformes de simulation neuromorphiques existantes (SpiNNaker, TrueNorth), afin de proposer une chaîne de traitement de l’information entièrement neuromorphique, du capteur au calcul, à faible coût énergétique.

This thesis is about the implementation of neuromorphic algorithms, using, as a first step, data from a silicon retina, mimicking the human eye’s behavior, and then evolve towards all kind of event-based signals. These eventbased signals are coming from a paradigm shift in the data representation, thus allowing a high dynamic range, a precise temporal resolution and a sensor-level data compression. Especially, we will study the development of a high frequency monocular depth map generator, a real-time spike sorting algorithm for intelligent brain-machine interfaces, and an unsupervised learning algorithm for pattern recognition. Some of these algorithms (Optical flow detection, depth map construction from stereovision) will be in the meantime developed on available neuromorphic platforms (SpiNNaker, TrueNorth), thus allowing a fully neuromorphic pipeline, from sensing to computing, with a low power budget.