Continual Learning : Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes

Apprentissage continu : S'attaquer à l'oubli foudroyant des réseaux de neurones profonds grâce aux méthodes à rejeu de données

• Auteur / Autrice : Timothée Lesort
• Direction : David Filliat
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 12/06/2020
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : École nationale supérieure de techniques avancées (Palaiseau). Unité d'Informatique et d'Ingénierie des Systèmes
• Jury : Président / Présidente : Alexander Gepperth
• Jury : Examinateurs / Examinatrices : Razvan Pascanu, Andrei Stoian
• Jury : Rapporteurs / Rapporteuses : Irina Rish, Georges Quénot

Mots clés

Mots clés contrôlés

Robotique

Apprentissage profond

Apprentissage automatique

Mots clés libres

Apprentissage profond

Apprentissage Continu

Régénération

Méthodes de Rejeu

Robotique

Deep Learning

Continual Learning

Generative Replay.

Replay Processes

Robotics

Résumé

Les humains apprennent toute leur vie. Ils accumulent des connaissances à partir d'une succession d'expériences d'apprentissage et en mémorisent les aspects essentiels sans les oublier. Les réseaux de neurones artificiels ont des difficultés à apprendre dans de telles conditions. Ils ont en général besoin d'ensembles de données rigoureusement préparés pour pouvoir apprendre à résoudre des problèmes comme de la classification ou de la régression. En particulier, lorsqu'ils apprennent sur des séquences d'ensembles de données, les nouvelles expériences leurs font oublier les anciennes. Ainsi, ils sont souvent incapables d'appréhender des scénarios réels tels ceux de robots autonomes apprenant en temps réel à s'adapter à de nouvelles situations et devant résoudre des problèmes sans oublier leurs expériences passées.L'apprentissage continu est une branche de l'apprentissage automatique s'attaquant à ce type de scénarios. Les algorithmes continus sont créés pour apprendre des connaissances, les enrichir et les améliorer au cours d'un curriculum d'expériences d'apprentissage.Dans cette thèse, nous proposons d'explorer l'apprentissage continu avec rejeu de données. Les méthodes de rejeu de données rassemblent les méthodes de répétitions et les méthodes de rejeu par génération. Le rejeu par génération consiste à utiliser un réseau de neurones auxiliaire apprenant à générer les données actuelles. Ainsi plus tard le réseau auxiliaire pourra être utilisé pour régénérer des données du passé et les remémorer au modèle principal. La répétition a le même objectif, mais cette méthode sauve simplement des images spécifiques et les rejoue plus tard au modèle principal pour éviter qu'il ne les oublie. Les méthodes de rejeu permettent de trouver un compromis entre l'optimisation de l'objectif d'apprentissage actuel et ceux du passé. Elles permettent ainsi d'apprendre sans oublier sur des séquences de tâches.Nous montrons que ces méthodes sont prometteuses pour l'apprentissage continu.En particulier, elles permettent la réévaluation des données du passé avec des nouvelles connaissances et de confronter des données issues de différentes expériences. Nous démontrons la capacité des méthodes de rejeu à apprendre continuellement à travers des tâches d'apprentissage non-supervisées, supervisées et de renforcements.

Humans learn all their life long. They accumulate knowledge from a sequence of learning experiences and remember the essential concepts without forgetting what they have learned previously. Artificial neural networks struggle to learn similarly. They often rely on data rigorously preprocessed to learn solutions to specific problems such as classification or regression.In particular, they forget their past learning experiences if trained on new ones.Therefore, artificial neural networks are often inept to deal with real-lifesuch as an autonomous-robot that have to learn on-line to adapt to new situations and overcome new problems without forgetting its past learning-experiences.Continual learning (CL) is a branch of machine learning addressing this type of problems.Continual algorithms are designed to accumulate and improve knowledge in a curriculum of learning-experiences without forgetting.In this thesis, we propose to explore continual algorithms with replay processes.Replay processes gather together rehearsal methods and generative replay methods.Generative Replay consists of regenerating past learning experiences with a generative model to remember them. Rehearsal consists of saving a core-set of samples from past learning experiences to rehearse them later. The replay processes make possible a compromise between optimizing the current learning objective and the past ones enabling learning without forgetting in sequences of tasks settings.We show that they are very promising methods for continual learning. Notably, they enable the re-evaluation of past data with new knowledge and the confrontation of data from different learning-experiences. We demonstrate their ability to learn continually through unsupervised learning, supervised learning and reinforcement learning tasks.