Vers un apprentissage automatique fiable : exploiter les représentations multimodales, le goulot d’étranglement de l’information et la théorie des valeurs extrêmes (EVT)

Towards Reliable ML : Leveraging Multi-Modal Representations, Information Bottleneck and Extreme Value Theory

• Auteur / Autrice : Nicolas Atienza
• Direction : Johanne Cohen, Christophe Labreuche
• Type : Thèse de doctorat
• Discipline(s) : Informatique mathématique
• Date : Soutenance le 04/04/2025
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Jury : Président / Présidente : Nicolas Sabouret
• Jury : Examinateurs / Examinatrices : Stéphane Girard, Jean-Michel Loubes, Charlotte Laclau, Benedikt Bollig
• Jury : Rapporteurs / Rapporteuses : Stéphane Girard, Jean-Michel Loubes

Mots clés

Mots clés contrôlés

Apprentissage machine

Réseaux neuronaux (informatique)

Mots clés libres

Apprentissage Automatique

IA Explicable

Robustesse

Apprentissage Automatique,

Frugalité

Machine Learning

Xai

Robustness

Representation Learning

Frugality

Résumé

Cette thèse de doctorat porte sur l'amélioration de la fiabilité de l'apprentissage automatique, en particulier pour les applications à forts enjeux. Les modèles d'apprentissage profond actuels, bien que très performants, restent difficiles à appréhender et à déployer de manière sûre en raison de leur opacité, de leur vulnérabilité aux attaques adverses, de leur sensibilité aux changements de distribution, et de leur inefficacité en contexte de données ou de ressources limitées. Pour surmonter ces limites, ce travail explore trois dimensions complémentaires : l'explicabilité, la robustesse et la frugalité.Sur le plan de l’explicabilité, il propose une méthode appelée CB2, qui introduit une forme d’interprétabilité par concepts pour les réseaux neuronaux profonds. CB2 s’appuie sur des embeddings multi-modaux et la théorie de la décision pour aligner les représentationsinternes du modèle sur des concepts compréhensibles par l’humain. Cette technique permet de mieux comprendre pourquoi un modèle produit une prédiction donnée et d’inspecter les biais potentiels dans le processus de décision. Par rapport aux méthodes post-hoc classiques, CB2 fournit des explications plus structurées et sémantiquement riches, validées sur plusieurs jeux de données en vision par ordinateur.Sur le plan de la robustesse, deux approches sont proposées pour renforcer la fiabilité des modèles. La première, nommée POSIB, est une méthode post-entraînement fondée sur le principe de l’Information Bottleneck, qui restructure l’espace latent du modèle afin de dissocier les caractéristiques informatives du bruit et des corrélations non pertinentes. Cela améliore la robustesse sans compromettre la précision prédictive. La seconde approche, appelée SPADE, traite de la détection des échantillons hors distribution (OOD) et des entrées adverses. SPADE exploite la théorie des valeurs extrêmes pour caractériser le comportement des queues de distribution latente, offrant ainsi une manière rigoureuse de détecter les entrées inconnues ou malveillantes et de s’abstenir de prédictions peu fiables. Les expériences menées sur différentes architectures et jeux de données montrent que SPADE atteint des performances de pointe en détection OOD et en défense contre les attaques adverses.Enfin, ce travail s’intéresse aussi à la frugalité, en reconnaissant que les modèles déployés dans des contextes industriels ou critiques fonctionnent souvent sous des contraintes sévères en données et en ressources de calcul. Pour relever ces défis, il développe des techniques d’apprentissage de représentations frugales qui optimisent le contenu informationnel des espaces latents, en ne conservant que les caractéristiques essentielles. Combiné avec le cadre de robustesse, il propose F-STUDENT, une version distillée des modèles robustes, qui compresse le réseau tout en préservant sa capacité à résister aux attaques adverses. Cette approche surpasse les méthodes classiques d’élagage en s’appuyant sur une distillation multi-étapes et une régularisation par goulot d’étranglement informationnel.Dans l’ensemble, cette thèse contribue à combler le fossé entre les avancées théoriques de l’apprentissage automatique moderne et les exigences pratiques du déploiement de l’IA dans des environnements critiques. En abordant conjointement l’explicabilité, la robustesse et la frugalité, elle propose un cadre complet pour le développement de systèmes d’apprentissage fiables, dignes de confiance dans des applications réelles à forts enjeux.

This PhD research focuses on making machine learning more reliable, particularly for high-stakes applications. Current deep learning models, while highly performant, remain difficult to trust because of their opacity, vulnerability to adversarial attacks, sensitivity to distribution shifts, and inefficiency when faced with limited data or resources. To address these limitations, this work explores three complementary dimensions: explainability, robustness, and frugality. On the explainability side, it proposes a method called CB2, which introduces concept-based interpretability for deep neural networks. CB2 relies on multi-modal embeddings and decision theory to align internal model representations with human-interpretable concepts. This technique allows us to better understand why a model makes a given prediction and inspect potential biases in the decision process. Compared to traditional post-hoc attribution methods, CB2 offers more structured and semantically meaningful explanations, validated across several computer vision datasets. In terms of robustness, it proposes two approaches to enhance model reliability. The first is POSIB, a post-training method based on the Information Bottleneck principle, which reshapes a model's latent space to disentangle informative features from noise and irrelevant correlations. This improves robustness without sacrificing predictive accuracy. The second approach, called SPADE, addresses the detection of out-of-distribution samples and adversarial inputs. SPADE leverages Extreme Value Theory to characterize the tail behavior of latent distributions, providing a principled way to detect unfamiliar or malicious inputs and abstain from unreliable predictions. Experiments across different architectures and datasets show that SPADE achieves state-of-the-art performance in both OOD detection and adversarial defense. Finally, this work also focuses on frugality, recognizing that models deployed in industrial or safety-critical contexts often operate under severe data and computational constraints. To meet these challenges, it develops frugal representation learning techniques that optimize the information content of latent spaces, keeping only the most essential features. Combined with the robustness framework, it proposes F-STUDENT, a distilled version of robust models that compresses the network while preserving its ability to withstand adversarial attacks. This approach outperforms standard pruning methods by leveraging multi-step distillation and information bottleneck regularization. Overall, this PhD contributes to closing the gap between the theoretical progress of modern machine learning and the practical requirements of deploying AI in safety-critical environments. By addressing explainability, robustness, and frugality together, it offers a comprehensive framework for developing reliable machine learning systems that can be trusted in real-world high-stakes applications.