Parcimonie, redondance et robustesse dans les réseaux de neurones artificiels pour l'apprentissage et la mémoire

Sparsity, redundancy and robustness in artificial neural networks for learning and memory

• Auteur / Autrice : Philippe Tigreat
• Direction : Claude Berrou
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 16/10/2017
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Département Electronique - Lab-STICC_IMTA_CACS_IAS - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance
• Jury : Président / Présidente : Catherine Douillard
• Jury : Examinateurs / Examinatrices : Claude Berrou, Lionel Fillatre, Hubert Cardot, Martial Mermillod, Vincent Gripon
• Jury : Rapporteurs / Rapporteuses : Lionel Fillatre, Hubert Cardot

Mots clés

Mots clés contrôlés

Intelligence artificielle

Commande robuste

Codage

Réseaux neuronaux (informatique)

Apprentissage automatique

Mots clés libres

Apprentissage machine

Réseaux de neurones

Codage

Parcimonie

Robustesse

Artificial intelligence

Neural networks

Deep learning

Machine learning

Associative memory

Classification

Parallel programming

Error-correcting codes

Résumé

L'objectif de la recherche en Intelligence Artificielle (IA) est de répliquer les capacités cognitives humaines au moyen des ordinateurs modernes. Les résultats de ces dernières années semblent annoncer une révolution technologique qui pourrait changer profondément la société. Nous focalisons notre intérêt sur deux aspects cognitifs fondamentaux, l'apprentissage et la mémoire. Les mémoires associatives offrent la possibilité de stocker des éléments d'information et de les récupérer à partir d'une partie de leur contenu, et imitent ainsi la mémoire cérébrale. L'apprentissage profond permet de passer d'une perception analogique du monde extérieur à une représentation parcimonieuse et plus compacte. Dans le chapitre 2, nous présentons une mémoire associative inspirée des réseaux de Willshaw, avec une connectivité contrainte. Cela augmente la performance de récupération des messages et l'efficacité du stockage de l'information.Dans le chapitre 3, une architecture convolutive a été appliquée sur une tâche de lecture de mots partiellement affichés dans des conditions similaires à une étude de psychologie sur des sujets humains. Cette expérimentation montre la similarité de comportement du réseau avec les sujets humains concernant différentes caractéristiques de l'affichage des mots.Le chapitre 4 introduit une méthode de représentation des catégories par des assemblées de neurones dans les réseaux profonds. Pour les problèmes à grand nombre de classes, cela permet de réduire significativement les dimensions d'un réseau.Le chapitre 5 décrit une méthode d'interfaçage des réseaux de neurones profonds non supervisés avec les mémoires associatives à cliques.

The objective of research in Artificial Intelligence (AI) is to reproduce human cognitive abilities by means of modern computers. The results of the last few years seem to announce a technological revolution that could profoundly change society. We focus our interest on two fundamental cognitive aspects, learning and memory. Associative memories offer the possibility to store information elements and to retrieve them using a sub-part of their content, thus mimicking human memory. Deep Learning allows to transition from an analog perception of the outside world to a sparse and more compact representation.In Chapter 2, we present a neural associative memory model inspired by Willshaw networks, with constrained connectivity. This brings an performance improvement in message retrieval and a more efficient storage of information.In Chapter 3, a convolutional architecture was applied on a task of reading partially displayed words under similar conditions as in a former psychology study on human subjects. This experiment put inevidence the similarities in behavior of the network with the human subjects regarding various properties of the display of words.Chapter 4 introduces a new method for representing categories usingneuron assemblies in deep networks. For problems with a large number of classes, this allows to reduce significantly the dimensions of a network.Chapter 5 describes a method for interfacing deep unsupervised networks with clique-based associative memories.