Modèles neurocomputationnels d'une mémoire de travail par codage prédictif

par Louis Annabi

Projet de thèse en STIC - Cergy

Sous la direction de Alexandre Pitti et de Mathias Quoy.

Thèses en préparation à Cergy-Pontoise , dans le cadre de ED EM2PSI - Économie, Management, Mathématiques, Physique et Sciences Informatiques , en partenariat avec Equipes Traitement de l'Information et Systèmes (laboratoire) depuis le 01-12-2018 .


  • Résumé

    Notre objectif de recherche est de créer un réseau de neurones capable d'apprendre et de stabiliser des séquences mémoire sur des durées de quelques dizaines de secondes jusqu'à quelques minutes. Notre contribution sera d'avoir une architecture neuronale allant au delà des réseaux récurrents conventionnels en modélisant également la supervision de haut en bas. Cette propriété est connue sous le nom de codage prédictif, qui est la capacité d'un système à prédire l'activité d'un autre système récursivement en minimisant itérativement ses erreurs de prédiction [Friston]. Une variante de cette propriété a récemment été utilisée pour le contrôle du chaos [Laje 2013]. Dans ce contexte, nous proposons une architecture neuronale basée sur des couches organisées hiérarchiquement pour générer des comportements d'adaptation robustes au bruit intrinsèque et aux perturbations extrinsèques dans les réseaux de neurones à spikes couplés de manière récurrente. Notre architecture, appelée INFERNO pour Iterative Free Energy Optimization for Recurrent Neural Networks [Pitti, 2017]. Son mécanisme est basée sur la capacité d'un auto-encodeur (couche du dessus) à contrôler et anticiper les dynamiques d'un réseaux récurrent (couche du dessous) en minimisant ses erreurs de prédiction [Friston]. Plus la couche du dessus est capable de prédire avec précision les sorties de la couche du dessous, plus la séquence est optimale. Cette architecture est hiérarchique de telle sorte qu'un circuit neuronal infère les causes des signaux entrants d'un autre circuits, ce qui est similaire au traitement bayésien. En parallèle, nous émettons des hypothèses quant à la manière dont le cortex et les ganglions de la base interagissent entre eux. Lors de simulations, INFERNO a démontré sa capacité à apprendre et retrouver des séquences spatio-temporelles de longue durée apprises, jusqu'à plusieurs centaines de spike, à partir de deux populations de seulement quelques dizaines de neurones, ce qui est à notre connaissance l'état de l'art. Nous aimerions étendre nos résultats pour apprendre et retrouver davantage de signaux complexes comme l'écriture de lettres (séquences mémoire 2D) ou le suivi de signaux visuels pour la compréhension d'un scène à partir d'une caméra événementielle. Pitti A., Gaussier P. & Quoy M. (2017) Incremental Free-Energy Optimization for Recurrent Neural Networks (INFERNO). PLoS ONE. 12(3): e0173684

  • Titre traduit

    Neurocomputational models of a working memory using predictive coding


  • Résumé

    Our research objective is to create a neural network that can learn and stabilize long memory sequences over dizains of seconds to minutes. Our contributions will be to have a neural architecture that goes beyond conventional recurrent neural networks by embedding also top-down supervision. Such property is known as predictive coding, which is the ability for one system to predict the activity of another one recursively by minimizing the prediction errors iteratively [Friston]. A variant of it has been used recently for chaos control [Laje 2013]. In this line, we propose a neural architecture based on hierarchically organized layers to generate adaptive behaviors robust to intrinsic noise and extrinsic perturbation in recurrently coupled spiking neural networks. Our architecture is called INFERNO for Iterative Free-Energy Optimization for Recurrent Neural Networks [Pitti, 2017]. Its mechanism is based on the ability for one auto-encoder network (the top layer) to control and anticipate the dynamics of one recurrent network (bottom layer) by minimizing prediction errors [Friston]. The better the top layer can predict the output of the bottom layer, the more optimal the sequence. Its architecture is hierarchical so that one neural circuit makes inferences about the causes of another circuit's own incoming signals, which is similar to bayesian processing. Parallely, we make some assumptions how the cortex and the basal ganglia interact each other. INFERNO demonstrated in simulations capabilities of learning and retrieving long-range spatio-temporal sequences learned, up to several hundred of spikes length from just two populations of dizains of neurons only, which constitutes to our knowledge the state of the art. We would like to extend our results to learn and retrieve more complex signals like continuous handwriting letters (2D memory sequences) and tracking visual signals for scene understanding using an active event-based camera. Pitti A., Gaussier P. & Quoy M. (2017) Incremental Free-Energy Optimization for Recurrent Neural Networks (INFERNO). PLoS ONE. 12(3): e0173684