Apprentissage incrémental profond à large échelle

Large-scale deep class-incremental learning

• Auteur / Autrice : Eden Belouadah
• Direction : Ioannis Kanellos
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 29/11/2021
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Equipe Robot interaction, Ambient system, Machine learning, Behaviour, Optimization - Département Informatique - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance (Brest ; 2012-....)
• Jury : Président / Présidente : Céline Hudelot
• Jury : Examinateurs / Examinatrices : Ioannis Kanellos, Céline Hudelot, David Filliat, Nicu Sebe, Tinne Tuytelaars, Symeon Papadopoulos, Adrian Popescu
• Jury : Rapporteurs / Rapporteuses : David Filliat, Nicu Sebe

Mots clés

Mots clés contrôlés

Gestion mémoire (informatique)

Réseaux neuronaux (informatique)

Apprentissage profond

Mots clés libres

Apprentissage incrémental

Oubli catastrophique

Classification d'image

Réseaux de neurones convolutifs

Incremental learning

Catastrophic forgetting

Image classification

Convolutionel neural networks

Résumé

L'apprentissage incrémental (IL) permet l'adaptation d'agents artificiels à des environnements dynamiques dans lesquels les données sont présentées séquentiellement. Ce type d’apprentissage est nécessaire lorsque l'accès aux données passées est limité ou impossible, mais il est affecté par l'oubli catastrophique. Ce phénomène consiste en une chute drastique des performances des informations précédemment apprises lors de l'ingestion de nouvelles données. Une façon de résoudre ce problème est d'utiliser une mémoire limitée du passé pour rafraîchir les connaissances apprises précédemment. Actuellement, les approches basées sur la mémoire obtiennent les meilleurs résultats de l'état de l'art. Dans cette thèse, nous présentons plusieurs méthodes avec et sans mémoire du passé. Nos méthodes traitent l'oubli catastrophique soit (1) en calibrant les scores des classes passées et nouvelles à la fin du réseau, soit (2) en réutilisant les poids initiaux des classes passées, soit (3) en transférant les connaissances entre les datasets de référence et cibles. Nous étudions notamment l'utilité de la distillation largement utilisée et l'effet d'utiliser ou non une mémoire du passé. Des expériences approfondies contre des méthodes de l'état de l'art ont été menées afin de valider l'efficacité de nos méthodes.

Incremental learning (IL) enables the adaptation of artificial agents to dynamic environments in which data is presented in streams. This type of learning is needed when access to past data is limited or impossible but is affected by catastrophic forgetting. This phenomenon consists of a drastic performance drop for previously learned information when ingesting new data. One way to tackle this problem is to use a limited memory of the past to refresh previously learned knowledge. Currently, memory-based approaches achieve the best state-of-the-art results. In this thesis, we present many methods with and without memory of the past. Our methods deal with catastrophic forgetting either by (1) calibrating past and new classes scores at the end of the network, or (2) performing initial class weights replay, or (3) transferring knowledge between reference and target datasets. We notably investigate the usefulness of the widely used knowledge distillation and the effect of enabling or not a memory of the past. Extensive experiments against a range of state-of-the-art approaches were conducted in order to validate the efficiency of our methods.