Au-delà de la tâche d’entraînement en classification : élargir la notion de généralisation

Beyond the training task in classification : looking at extension of the notion of generalization

• Auteur / Autrice : Raphaël Baena
• Direction : Vincent Gripon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 01/12/2023
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et le numérique
• Partenaire(s) de recherche : Laboratoire : Equipe Algorithm Architecture Interactions - Département Mathematical and Electrical Engineering - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance
• Jury : Président / Présidente : Pierre Borgnat
• Jury : Examinateurs / Examinatrices : Vincent Gripon, Nicolas Courty, David Picard, Claire Boyer, Lucas Drumetz
• Jury : Rapporteurs / Rapporteuses : Nicolas Courty, David Picard

Mots clés

Mots clés contrôlés

Apprentissage supervisé (intelligence artificielle)

Classification automatique

Apprentissage profond

Mots clés libres

Apprentissage profond

Classification

Apprentissage supervisé

Apprentissage par transfert

Généralisation

Deep Learning

Classification

Supervised learning

Transfer learning

Generalization

Résumé

La thèse s’intéresse à la notion de généralisation, en particulier dans le cadre de la classification en apprentissage automatique de manière supervisée. Cette approche consiste à apprendre à résoudre une tâche (classification) à partir de données d’entrainement étiquetées. La généralisation est définie comme la capacité à réaliser des prédictions correctes sur des données non observées pendant l’entraînement. Cette notion est généralement restreinte à des données qui correspondent au même domaine que celui de la tâche d’entrainement. Cependant, une littérature récente met en exergue la capacité des architectures d’apprentissage profond à généraliser en dehors de leur tâche d’entrainement. Ainsi, un modèle entrainé sur une tâche particulière peut être réutilisée en partie sur d’autres tâches. Ainsi, nous explorons différentes extensions possibles de la généralisation : apprentissage sur un ensemble de classe et l’habilité à généraliser sur un ensemble de classes plus grands, l’apprentissage sur des labels grossiers pour prédire des labels plus complexes, l’apprentissage sur une tâche artificiellement complexe pour améliorer la généralisation ou encore l’apprentissage d’opérateurs invariants pour résoudre une tâche spécifique.

The thesis focuses on the concept of generalization, particularly in the context of supervised machine learning classification. This approach involves learning to solve a task (classification) based on labeled training data. Generalization is defined as the ability to make accurate predictions on unseen data during training. Traditionally, generalization is limited to data that belongs to the same domain as the training task. However, recent literature highlights the capability of deep learning architectures to generalize beyond their training task. Thus, a model trained on a specific task can be partially reused for other tasks. The thesis explores various possible extensions of generalization, including learning on a set of classes and the ability to generalize to a larger set of classes, learning on coarse labels to predict more complex labels, learning on artificially complex tasks to improve generalization, and learning invariant operators for a specific task.