Garanties théoriques et amélioration de la classification multi-tâches semi-supervisée en grande dimension

Theoretical guarantees and improvement of large dimensional multi-task semi-supervised classification

• Auteur / Autrice : Victor Leger
• Direction : Romain Couillet
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 14/11/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (Isère, France ; 2007-....)
• Partenaire(s) de recherche : Equipe de recherche : Équipe-projet Évaluation et optimisation des performances des grandes infrastructures (Montbonnot-Saint-Martin, Isère, France ; 2016-....)
• Jury : Président / Présidente : Jean-François Coeurjolly
• Jury : Examinateurs / Examinatrices : Abla Kammoun, Paulo Gonçalvès, Florent Chatelain
• Jury : Rapporteurs / Rapporteuses : Pierre Borgnat, Guillaume Ginolhac

Mots clés

Mots clés contrôlés

Apprentissage automatique

Analyse multivariée

Mots clés libres

Théorie des matrices aléatoires

Statistiques en grande dimension

Classification

Apprentissage semi-Supervisé

Apprentissage multi-Tâches

Random matrix theory

Large dimensional statistics

Classification

Semi-Supervised learning

Multi-Task learning

Résumé

Dans le domaine de l'apprentissage machine, le sous-domaine spécifique de l'apprentissage profond a fait l'objet d'un intérêt particulier au cours de la dernière décennie. Si l'apprentissage profond a permis des avancées significatives dans de nombreux domaines, ces avancées se sont faites au détriment de l'interprétabilité, de l'accessibilité, de la robustesse et de la flexibilité, sans parler de la consommation énergétique colossale nécessaire à l'entraînement de tels algorithmes. A l'inverse, ce manuscrit a pour objectif d'ouvrir la voie à des outils généraux et flexibles pour résoudre des problèmes de classification, qui s'appuient sur des notions élémentaires d'apprentissage statistique et des outils mathématiques assez accessibles.Cette thèse mène une analyse statistique en grande dimension d'un modèle de classification à la fois simple et versatile, qui unifie dans un même modèle l'apprentissage multi-tâches et l'apprentissage semi-supervisé, et qui prend en compte la possibilité d'étiqueter les données de manière incertaine. En utilisant des outils issus de la théorie des matrices aléatoires, les statistiques asymptotiques de certaines fonctions clés sont caractérisées, ce qui permet d'une part de prédire les performances de l'algorithme proposé, et d'autre part de révéler certaines astuces contre-intuitives sur la manière de l'utiliser efficacement. Le modèle, suffisamment puissant pour donner de bonnes garanties de performance, est aussi suffisamment lisible pour apporter de bonnes intuitions sur son fonctionnement. L'algorithme produit est également comparé à une borne optimale issue de la physique statistique, qui donne une borne inférieure de la plus petite probabilité d'erreur atteignable pour un problème donné. Cette borne est calculée dans le cas étendu de l'étiquetage incertain, et est utilisée pour évaluer les performances de l'algorithme.

In the field of machine learning, the specific subfield of deep learning has gathered particular interest in the last decade. If deep learning has allowed quick and significant progress in a wide range of fields, this progress has been made at the expense of interpretability, accessibility, robustness and flexibility, not to mention the colossal energy consumption implied by the training of such algorithms. On the contrary, the present manuscript aims to open the path to all-encompassing flexible tools for classification problems, buttressed on elementary machine learning notions and rather basic mathematical tools.This thesis conducts a large dimensional study of a simple yet quite versatile classification model, encompassing at once multi-task and semi-supervised learning, and taking into account uncertain labeling. Using tools from random matrix theory, the asymptotics of some key functionals are characterized, which allows on the one hand to predict the performances of the proposed algorithm, and on the other hand to reveal some counter-intuitive guidance on how to use it efficiently. The model, powerful enough to provide good performance guarantees, is also straightforward enough to provide strong insight into its behavior. The resulting algorithm is also compared to an optimal bound derived from statistical physics, which gives a lower bound of the least achievable probability of misclassification for a given problem. This bound is computed in the extended case of uncertain labeling, and is used to evaluate the performances of the algorithm.