Conception d'Architecture pour les Réseaux de Neurones Oscillants Analogiques

Architecture Design for Analog Oscillatory Neural Networks

• Auteur / Autrice : Corentin Delacour
• Direction : Aida Todri-Sanial, Nadine Azemard-Crestani
• Type : Thèse de doctorat
• Discipline(s) : Systèmes automatiques et micro-électroniques
• Date : Soutenance le 19/12/2023
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Président / Présidente : Jean-Michel Portal
• Jury : Examinateurs / Examinatrices : Damien Querlioz, Fernando Corinto, Kerem Camsari
• Jury : Rapporteurs / Rapporteuses : Nikhil Shukla, Ian O'Connor
• DOI : 10.70675/8c16f93fz2b33z4072z9ce6zd406c45eabe0

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Optimisation combinatoire

Transitions métal-isolant

Mots clés libres

Réseaux de neurones oscillants

Dispositifs à transitions métal-Isolant

Optimisation combinatoire

Calcul neuromorphique

Oscillatory Neural Networks

Metal-Insulator Transition devices

Combinatorial optimization

Neuromorphic computing

Résumé

La transformation de nos sociétés par le digital génère des quantités importantes de données dont la croissance a atteint une vitesse exponentielle depuis les dernières années. En dépit du progrès technique en matière de calcul, les ordinateurs digitaux actuels suivent difficilement cette tendance et sont dépassés par l'ampleur de certains problèmes, notamment liés aux algorithmes d'intelligence artificielle et aux problèmes d'optimisation de grande échelle. La limitation principale est liée à l'architecture même des calculateurs digitaux, à savoir la séparation du processeur et de la mémoire qui induit un ralentissement par le transfert des données, aussi appelée le goulot d'étranglement de von Neumann. Afin de contourner cette limitation, d'autres méthodes de calcul furent proposées distribuant le processeur et la mémoire telles que les architectures neuromorphiques basées sur l'implémentation de réseaux de neurones artificiels inspirés du cerveau. En outre, repenser la manière digitale de calculer comme par exemple utiliser les lois physiques et analogiques a le potentiel de réduire l'impact énergétique de certains calculs tout en les accélérant. Cette thèse a pour objectif principal d'explorer une approche physique du calcul fondée sur des réseaux de neurones oscillants (ONN) analogiques à faible coût énergétique. En particulier, ce travail se concentre sur (1) les performances d'une architecture ONN basée sur des neurones oscillants à partir de dioxyde de vanadium et couplés par des résistances, (2) une nouvelle architecture d'ONN à signaux mixtes calculant dans le domaine analogique, et propageant l'information de manière digitale afin de faciliter la conception à grande échelle, et (3) comment les ONNs peuvent résoudre des problèmes d'optimisation combinatoire dont la complexité croît de manière exponentielle avec la taille du problème. Pour conclure, de potentielles applications et futurs axes de recherche sont discutés.

Digitalization of society creates important quantities of data that have been increasing at an exponential rate during the past few years. Despite the tremendous technological progress, digital computers have trouble meeting the demand, especially for challenging tasks involving artificial intelligence or optimization problems. The fundamental reason comes from the architecture of digital computers which separates the processor and memory and slows down computations due to undesired data transfers, the so-called von Neumann bottleneck. To avoid unnecessary data movement, various computing paradigms have been proposed that merge processor and memory such as neuromorphic architectures that take inspiration from the brain and physically implement artificial neural networks. Furthermore, rethinking digital operations and using analog physical laws to compute has the potential to accelerate some tasks at a low energy cost.This dissertation aims to explore an energy-efficient physical computing approach based on analog oscillatory neural networks (ONN). In particular, this dissertation unveils (1) the performances of ONN based on vanadium dioxide oscillating neurons with resistive synapses, (2) a novel mixed-signal and scalable ONN architecture that computes in the analog domain and propagates the information digitally, and (3) how ONNs can tackle combinatorial optimization problems whose complexity scale exponentially with the problem size. The dissertation concludes with discussions of some promising future research directions.