Modèle de mémoire double pour de l'apprentissage incrémental

par Miguel angel Solinas

Projet de thèse en PCN - Sciences cognitives, psychologie et neurocognition

Sous la direction de Martial Mermillod et de Marina Reyboz.

Thèses en préparation à Grenoble Alpes , dans le cadre de École doctorale ingénierie pour la santé, la cognition, l'environnement (Grenoble) , en partenariat avec Laboratoire de Psychologie et Neuro Cognition (laboratoire) et de Mémoire et Développement (equipe de recherche) depuis le 01-10-2018 .


  • Résumé

    Comme le soulignent les chercheurs de Deep Mind, de nombreuses avancées ont été réalisées dans l'apprentissage machine et plus particulièrement dans les réseaux de neurones profonds mais peu de progrès dans la résolution de l'oubli catastrophique. Il s'agit du fait qu'un réseau formé sur un premier ensemble d'éléments peut les oublier lorsqu'il apprend un deuxième ensemble d'items. Par conséquent, il ne peut y avoir d'apprentissage incrémental (ou développemental ou continu), l'apprentissage est seulement sériel. Un système autonome ne pourra être viable car il oubliera au fur et à mesure de son apprentissage, ses apprentissages précédents. Ce point est grandement limitant car il donc impose de réapprendre tout un ensemble de données lorsqu'une nouvelle information doit être apprise. On imagine facilement que pour des applications embarquées, le flux de données sera colossal pour chaque nouvel apprentissage. L'objectif de cette thèse est de développer une brique « mémoire » permettant de surmonter ce verrou. Si on la replace dans un cadre plus général elle constituera une brique importante du développement d'un robot qui sera autonome dans ses apprentissages : capacité à apprendre de nouvelles informations, à abstraire de l'information et à oublier progressivement ce qui n'est pas utile. Une solution originale et novatrice fondée sur une approche développée en sciences cognitives est proposée par des chercheurs du laboratoire de psychologie et neurocognition (LPNC) de Grenoble qui travaillent sur la mémoire dans les systèmes biologiques et artificiels neuro-inspirés. Cette méthode met en oeuvre un double réseau de neurones formel et présente l'avantage de ne pas nécessiter le stockage des informations déjà apprises, de conserver la plasticité du réseau donc de permettre un apprentissage « infini » contrairement aux autres méthodes développées dans la littérature. De plus, cette solution est valable dans le cas d'un apprentissage non supervisé. Elle permet de surmonter l'oubli catastrophique et aura les caractéristiques suivantes : - De l'apprentissage incrémental, - De l'oubli lent permettant de s'adapter dans des environnements changeants. - La capacité à retenir des informations spécifiques - La capacité à abstraire des informations de bas niveau (reconnaissance d'images) et de haut niveau (règle de calcul par exemple) C'est dans cette perspective que nous proposons la conception de cette brique « mémoire », cette fois à base de réseaux de neurones impulsionnels à codage événementiel. L'intérêt de ce type de réseaux est d'une part le potentiel gain énergétique de l'approche impulsionnelle, notamment dans le cas de données éparses et d'autre part la compatibilité avec un capteur impulsionnel tel qu'une rétine ou une cochlée artificielles. Cette brique présentera donc la capacité de mémoriser l'information à la sortie d'un capteur événementiel. Elle pourra donc être ajoutée à la brique « vision » proposées par les 3 thèses couplées du CEA/LETI/DACLE qui visent à développer un imageur 3D basse consommation à codage événementiel et constituera la première étape sensori-mémorisante du robot autonome, à savoir la vision. Une première étude nous a montré que le principe est transposable à ce type de réseau pour un perceptron à une couche cachée en utilisant la base de données MNIST (reconnaissance de digits écrits). Le logiciel utilisé est l'outil N2D2 développé au CEA/LIST. La thèse prendra la suite de cette étude préliminaire et se focalisera sur l'aspect logiciel. Elle se composera de deux parties : - Une première étape permettra de se mettre à l'état de l'art, à savoir l'apprentissage incrémental d'images naturelles (IMAGENET) avec un réseau double de type CNN. Il faudra donc montrer qu'avec un réseau de type CNN, le principe de la mémoire double fonctionne toujours et ensuite dimensionner les réseaux pour qu'ils soient capables d'apprendre de manière incrémentale des classes différentes. Ensuite, le couplage avec la rétine artificielle impulsionnelle pourra se faire en conservant le principe et en l'adaptant aux nouvelles données d'entrée. - La seconde étape vise des réseaux récurrents (RNN) et l'apprentissage non plus d'images mais de séquences temporelles avec la base de données NTDigit, pour la reconnaissance de digits audio. Il a déjà été montré dans l'état de l'art que le principe d'apprentissage incrémental fonctionne avec des réseaux récurrents. Nous savons par ailleurs qu'un RNN est capable de classifier des digits audio. Il va donc falloir là encore dimensionner les réseaux pour qu'ils soient capables de faire de l'apprentissage incrémental de ces digits audio. On envisage ici la seconde étape sensori-mémorisante du robot autonome, à savoir l'ouïe. Le cadre de cette thèse est fortement pluridisciplinaire, mettant en oeuvre des compétences en logiciel, en intelligence artificielle, en neurosciences et en psychologie cognitive.

  • Titre traduit

    Dual memory model for incremental learning


  • Résumé

    As the Deep Mind researchers point out, many advances have been made in machine learning and more particularly in deep neural networks but little progress in resolving catastrophic forgetting. It is the fact that an artificial neural network that learned the first set of elements can forget them when it learns the second set of items. Therefore, there is no incremental learning. An autonomous system cannot be viable because it will forget as soon as it learns new tasks. This fact constrains the model because it requires relearning a whole set of data when new information needs to be learned. It is easy to imagine that for embedded applications, the data flow will be colossal for each new learning step. The objective of this thesis is to develop a brick 'memory' to overcome catastrophic forgetting. An original and innovative solution based on cognitive science is proposed by researchers from the laboratory of psychology and neurocognition (LPNC) at Grenoble. LPNC laboratory works on biological and artificial neuro-inspired systems. The proposed system implements a two artificial neural network that can keep the information already learned. This model will overcome catastrophic forgetting and will have the following characteristics: - Incremental learning, - Slow forgetting to adapt in changing environments. - The ability to retain specific information - Ability to abstract low-level information (image recognition) and high-level information (eg calculation rule) In this context, we propose the design of this 'memory' brick, based on event-coded pulse neural networks. The software used to code spike neural network will be N2D2 that was developed at CEA / LIST. The thesis will consist of two parts: - A first step is to review the state of the art, namely the incremental learning of natural images (IMAGENET). It will, therefore, be necessary to show that with a CNN type network, the double memory principle always works. - The second stage aims at using recurrent networks (RNN) to learn the temporal sequences of the database NTDigit, for the recognition of audio digits. It has already been shown in the state of the art that the incremental learning principle works with recurrent networks. We also know that an RNN is able to classify audio digits. The framework of this thesis is highly multidisciplinary, implementing skills in software, artificial intelligence, neuroscience, and cognitive psychology.