Définition d'un substrat computationnel bio-inspiré : déclinaison de propriétés de plasticité cérébrale dans les architectures de traitement auto-adaptatif

Design of a bio-inspired computing substrata : hardware plasticity properties for self-adaptive computing architectures

• Auteur / Autrice : Laurent Rodriguez
• Direction : Bertrand Granado
• Type : Thèse de doctorat
• Discipline(s) : STIC (sciences et technologies de l'information et de la communication) - Cergy
• Date : Soutenance le 01/12/2015
• Etablissement(s) : Cergy-Pontoise
• Ecole(s) doctorale(s) : École doctorale Sciences et ingénierie (Cergy-Pontoise, Val d'Oise)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise)
• Jury : Président / Présidente : Andres Upegui
• Jury : Examinateurs / Examinatrices : Bertrand Granado, Benoît Miramond, Christian Gamrat, Sylvain Saïghi, Olivier Romain
• Jury : Rapporteurs / Rapporteuses : Bernard Girau, Nicolas Rougier

Mots clés

Mots clés libres

Architectures auto-Adaptatives

Réseaux de neurones artificiels

Cartes auto-Organisatrices

Plasticité matérielle

Calcul neuromorphique

Calcul incorporé

Self-Adaptive architecture

Artificial neural networks

Self Organizing Maps

Hardware plasticity

Neuromorphic computing

Embodied computing

Résumé

L'augmentation du parallélisme, sur des puces dont la densité d'intégration est en constante croissance, soulève un certain nombre de défis tels que le routage de l'information qui se confronte au problème de "goulot d'étranglement de données", ou la simple difficulté à exploiter un parallélisme massif et grandissant avec les paradigmes de calcul modernes issus pour la plupart, d'un historique séquentiel.Nous nous inscrivons dans une démarche bio-inspirée pour définir un nouveau type d'architecture, basée sur le concept d'auto-adaptation, afin de décharger le concepteur au maximum de cette complexité. Mimant la plasticité cérébrale, cette architecture devient capable de s'adapter sur son environnement interne et externe de manière homéostatique. Il s'inscrit dans la famille du calcul incorporé ("embodied computing") car le substrat de calcul n'est plus pensé comme une boite noire, programmée pour une tâche donnée, mais est façonné par son environnement ainsi que par les applications qu'il supporte.Dans nos travaux, nous proposons un modèle de carte neuronale auto-organisatrice, le DMADSOM (pour Distributed Multiplicative Activity Dependent SOM), basé sur le principe des champs de neurones dynamiques (DNF pour "Dynamic Neural Fields"), pour apporter le concept de plasticité à l'architecture. Ce modèle a pour originalité de s'adapter sur les données de chaque stimulus sans besoin d'un continuum sur les stimuli consécutifs. Ce comportement généralise les cas applicatifs de ce type de réseau car l'activité est toujours calculée selon la théorie des champs neuronaux dynamique. Les réseaux DNFs ne sont pas directement portables sur les technologies matérielles d'aujourd'hui de part leurs forte connectivité. Nous proposons plusieurs solutions à ce problème. La première consiste à minimiser la connectivité et d'obtenir une approximation du comportement du réseau par apprentissage sur les connexions latérales restantes. Cela montre un bon comportement dans certain cas applicatifs. Afin de s'abstraire de ces limitations, partant du constat que lorsqu'un signal se propage de proche en proche sur une topologie en grille, le temps de propagation représente la distance parcourue, nous proposons aussi deux méthodes qui permettent d'émuler, cette fois, l'ensemble de la large connectivité des Neural Fields de manière efficace et proche des technologies matérielles. Le premier substrat calcule les potentiels transmis sur le réseau par itérations successives en laissant les données se propager dans toutes les directions. Il est capable, en un minimum d'itérations, de calculer l'ensemble des potentiels latéraux de la carte grâce à une pondération particulière de l'ensemble des itérations.Le second passe par une représentation à spikes des potentiels qui transitent sur la grille sans cycles et reconstitue l'ensemble des potentiels latéraux au fil des itérations de propagation.Le réseau supporté par ces substrats est capable de caractériser les densités statistiques des données à traiter par l'architecture et de contrôler, de manière distribuée, l'allocation des cellules de calcul.

The increasing degree of parallelism on chip which comes from the always increasing integration density, raises a number of challenges such as routing information that confronts the "bottleneck problem" or the simple difficulty to exploit massive parallelism thanks to modern computing paradigms which derived mostly from a sequential history.In order to discharge the designer of this complexity, we design a new type of bio-inspired self-adaptive architecture. Mimicking brain plasticity, this architecture is able to adapt to its internal and external environment and becomes homeostatic. Belonging to the embodied computing theory, the computing substrate is no longer thought of as a black box, programmed for a given task, but is shaped by its environment and by applications that it supports.In our work, we propose a model of self-organizing neural map, DMADSOM (for Distributed Multiplicative Activity Dependent SOM), based on the principle of dynamic neural fields (DNF for "Dynamic Neural Fields"), to bring the concept of hardware plasticity. This model is able to adapt the data of each stimulus without need of a continuum on consecutive stimuli. This behavior generalizes the case of applications of such networks. The activity remains calculated using the dynamic neural field theory. The DNFs networks are not directly portable onto hardware technology today because of their large connectivity. We propose models that bring solutions to this problem. The first is to minimize connectivity and to approximate the global behavior thanks to a learning rule on the remaining lateral connections. This shows good behavior in some application cases. In order to reach the general case, based on the observation that when a signal travels from place to place on a grid topology, the delay represents the distance, we also propose two methods to emulate the whole wide connectivity of the Neural Field with respect to hardware technology constraints. The first substrate calculates the transmitted potential over the network by iteratively allowing the data to propagate in all directions. It is capable, in a minimum of iterations, to compute the lateral potentials of the map with a particular weighting of all iterations.The second involves a spike representation of the synaptic potential and transmits them on the grid without cycles. This one is hightly customisable and allows a very low complexity while still being capable to compute the lateral potentials.The network supported, by these substrates, is capable of characterizing the statistics densities of the data to be processed by the architecture, and to control in a distributed manner the allocation of computation cells.