Modèles et algorithmes pour l'implémentation de réseaux de neurones impulsionnels à faible consommation énergétique sur du matériel neuromorphique

Models and algorithms for implementing energy-efficient spiking neural networks on neuromorphic hardware at the edge

• Auteur / Autrice : Manon Dampfhoffer
• Direction : Lorena Anghel
• Type : Thèse de doctorat
• Discipline(s) : Nanoélectronique et nanotechnologie
• Date : Soutenance le 04/09/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Spintronique et technologie des composants (Grenoble)
• Jury : Président / Présidente : Pascal Perrier
• Jury : Examinateurs / Examinatrices : Melika Payvand, Damien Querlioz
• Jury : Rapporteurs / Rapporteuses : Timothée Masquelier, Benoît Miramond

Mots clés

Mots clés contrôlés

Algorithmes

Mémoires non-volatiles à accès sélectif

Apprentissage profond

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones impulsionnels

Réseaux de neurones artificiels

Matériel neuromorphique

Apprentissage profond

Accélérateurs de réseaux de neurones

Mémoires non-Volatile

Spiking Neural Networks

Artificial Neural Networks

Neuromorphic hardware

Deep Learning

Neural network accelerators

Non-Volatile Memories

Résumé

L'apprentissage profond dans les réseaux de neurones artificiels (ANNs), une branche de l'intelligence artificielle (IA), est considéré comme une révolution dans l'informatique et a un impact sur tous les secteurs de l'économie. Cependant, les ANNs sont très gourmands en ressources de calcul et en mémoire, ce qui limite leur intégration à la périphérie du réseau pour des applications embarquées. Les réseaux de neurones impulsionnels (SNNs) sont des alternatives prometteuses aux ANNs en termes d'efficacité énergétique et sont donc de bons candidats pour les implémentations IA embarquées utilisant du matériel neuromorphique. En effet, les SNNs encodent les informations en utilisant des événements temporels épars (appelés « spikes ») au lieu d'activations denses et précises. Cependant, l'écart entre le développement algorithmique des SNNs d'une part, et leur implémentation matérielle d'autre part, rend difficile l'obtention de solutions réellement efficaces. Dans ce contexte, cette thèse suit une approche tenant compte du matériel pour conduire les développements algorithmiques des SNNs. En particulier, des modèles et des algorithmes sont proposés pour améliorer la précision et l'efficacité énergétique des SNNs, en considérant des implémentations matérielles numériques et analogiques.Afin de comparer les implémentations des SNNs et des ANNs sur des accélérateurs de réseaux de neurones dédiés, un modèle de leur efficacité énergétique est fourni. En particulier, on constate que la parcimonie des activations joue un rôle clé dans l'efficacité des SNNs. Par conséquent, un nouveau modèle de SNN, SpikGRU, est proposé. Remarquablement, il combine la précision des ANNs récurrents à porte avec une parcimonie des activations, et s'avère très efficace pour les applications de faible puissance telles que le repérage de mots clés. En outre, l'implémentation des poids synaptiques utilisant des mémoires analogiques non volatiles est envisagée pour augmenter encore l'efficacité énergétique. Avec une méthodologie d'apprentissage adaptée, les SNNs se révèlent très robustes à ces poids hautement quantifiés et avec un haut niveau de bruit. Une étude de cas utilisant des mémoires résistives valide l'approche.En encourageant le co-développement algorithme-matériel, ce travail vise à ouvrir la voie à des implémentations efficaces de réseaux de neurones embarqués.

Deep learning in Artificial Neural Networks (ANNs), a branch of Artificial Intelligence (AI), is considered a revolution in computing and is impacting every sectors of the economy. However, ANNs are very compute- and memory-intensive, which limits their integration into edge devices for embedded applications. Bio-inspired Spiking neural networks (SNNs) are promising energy-efficient alternatives to ANNs, and hence are good candidates for edge AI implementations using neuromorphic hardware. Indeed, SNNs encode the information using sparse temporal events (called spikes) instead of dense and high precision activations. However, the gap between the algorithmic development of SNNs on the one hand, and their hardware implementation on the other hand, makes it difficult to achieve truly efficient solutions. In this context, this thesis follows a hardware-aware approach to drive algorithmic developments of SNNs. In particular, models and algorithms are proposed for improving the accuracy and energy efficiency of SNNs, considering both digital and analog hardware implementations.In the interests of comparing SNNs and ANNs implementations on dedicated neural network accelerators, a high-fidelity model of their energy efficiency is provided. In particular, it is found that spike sparsity plays a key role in the efficiency of SNNs. Consequently, a novel SNN model, SpikGRU, is proposed. Remarkably, it combines the accuracy of gated recurrent ANNs with a high spike sparsity, and is proven very efficient for low-power applications such as keyword spotting. In addition, the implementation of synaptic weights with analog non-volatile memories is considered to further increase the energy efficiency. With an adapted training methodology, SNNs are demonstrated to be very robust to these highly-quantized and noisy weights. A case study using resistive memories further validates the approach.By promoting algorithm-hardware co-development, this work aims at paving the way for efficient neural network implementations at the edge.