Designing recurrent neural architectures for prediction, inference and learning in a long-term memory of sequences using predictive coding
Modèles neurocomputationnels pour la prédiction, l'inférence et l'apprentissage au sein d'un mémoire à long-terme de séquences se basant sur le codage prédictif
Résumé
In order to learn and recognize sequences, robotic agents should be equipped with a long-term memory of temporal patterns. Recurrent neural networks are naturally fit for the generation of temporal patterns, and thus can be used to model such a sequence memory using a connectionist approach. Writing in the sequence memory would be tightly related to the question of synaptic weights learning, and memory retrieval could be cast into a problem of inference of the latent causes in the neural generative model. There are many underlying questions to the modeling of this sequence memory. Could it be trained incrementally with minimal forgetting of previously learned sequences? How many temporal patterns could be written in the memory? How to learn motor sequence memories without direct supervision in the motor space? How to retrieve previously learned temporal patterns?We propose to approach these questions by devising sequence memory networks within the frameworks of predictive coding (Rao and Ballard, 1999) and free-energy principle (Friston and Kilner, 2006), equipped with learning and inference mechanisms for the writing and retrieval of temporal patterns. Throughout this thesis, we apply our models to the learning of handwriting trajectories for a simulated robotic agent. The main contributions brought by this thesis are the following. First, we design recurrent neural networks based on the free-energy formulation of predictive coding. Second, we propose memory retrieval algorithms for sequence memories. Finally, we combine these models with active inference to build sequence memory models able to learn motor trajectories in the absence of direct supervision in the motor space.
Pour être capable d'apprendre et reconnaître des séquences, un agent robotique doit être équipé d'une mémoire à long terme pouvant contenir ces motifs séquentiels. Les réseaux de neurones récurrents sont naturellement adaptés à la génération de signaux temporels, et peuvent donc être utilisés afin de modéliser une telle mémoire de séquences avec une approche connexionniste. Le processus d'écriture dans la mémoire de séquences serait alors lié à la question de l'apprentissage des poids synaptiques, et le processus de remémoration pourrait être formulé comme un problème d'inférence de causes latentes dans le modèle génératif neuronal. Il y a plusieurs questions sous-jacentes à la modélisation de cette mémoire de séquences: Peut-elle être entraînée de manière continue avec un oubli minimal des séquences précédemment apprises? Combien de motifs séquentiels peuvent être écrits en mémoire avant saturation? Comment apprendre une mémoire de séquences motrices en l'absence de supervision dans l'espace moteur? Comment retrouver des motifs temporels précédemment appris?Dans cette thèse, nous proposons d'approcher ces questions en concevant des modèles neuronaux de mémoires de séquences s'inspirant de la théorie du codage prédictif (Rao and Ballard, 1999) et du principe de l'énergie libre (Friston and Kilner, 2006), équipés de mécanismes d'apprentissage et d'inférence pour l'écriture et la récupération de motifs séquentiels. Tout au long de cette thèse, nous appliquons nos modèles à l'apprentissage de trajectoires d'écriture manuscrite pour un agent robotique. Les principales contributions apportées par cette thèse sont les suivantes. Premièrement, nous concevons des modèles de réseaux récurrents à partir de la formulation du codage prédictif se basant sur la théorie de l'énergie libre. Deuxièmement, nous proposons des algorithmes simulant le processus de remémoration dans des mémoires de séquence. Enfin, nous combinons ces modèles avec l'inférence active pour construire des modèles de mémoire de séquences capable d'apprendre des trajectoires motrices sans supervision motrice directe.
Origine : Version validée par le jury (STAR)