Interactions entre Physique Statistique et Apprentissage Automatique : lde l'étude du Déséquilibre de Classe avec la Méthode des Répliques à la Prédiction des Hétérogénéités Dynamiques avec des Réseaux de Neurones sur Graphes SE(3)-équivariants

Statistical Physics - Machine Learning Interplay : from Addressing Class Imbalance with Replica Theory to Predicting Dynamical Heterogeneities with SE(3)-equivariant Graph Neural Networks

• Auteur / Autrice : Francesco Pezzicoli
• Direction : Michèle Sebag, François Landes, Guillaume Charpiat
• Type : Thèse de doctorat
• Discipline(s) : Informatique mathématique
• Date : Soutenance le 19/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Partenaire(s) de recherche : Equipe de recherche : TAckling the Underspecified (TAU)
• Jury : Président / Présidente : Martin Weigt
• Jury : Examinateurs / Examinatrices : Alejandro Rodriguez Garcia, Sergei Grudinin, Nataliya Sokolovska, Damien Vandembroucq
• Jury : Rapporteurs / Rapporteuses : Alejandro Rodriguez Garcia, Sergei Grudinin

Mots clés

Mots clés contrôlés

Détection des anomalies (informatique)

Réseaux neuronaux (informatique)

Ordre et désordre (physique)

Techniques des répliques

Apprentissage automatique

Mots clés libres

Apprentissage Automatique

Données Déséquilibrées

Méthode des Répliques

Verres Structuraux

Réseaux de Neurones à Graphes

Machine Learning

Class Imbalance

Replica Trick

Supercooled Liquids

Steerable Convolutions

Graph Neural Networks

Résumé

Cette thèse explore la relation entre l'Apprentissage Automatique (AA) et la Physique Statistique (PS), en abordant deux défis importants à l'interface entre ces deux domaines. Tout d'abord, j'examine le problème du Déséquilibre de Classe (DC) dans le cadre de l'apprentissage supervisé en introduisant un modèle analytiquement solvable basé sur la mécanique statistique: je propose un cadre théorique pour analyser et interpréter le problème de DC. Certains phénomènes non triviaux sont observés : par exemple, un ensemble d'entraînement équilibré aboutit souvent à une performance sous-optimale. Ensuite, j'étudie le phénomène de blocage dynamique dans les verres structuraux à l'aide de modèles avancés d'AA. En exploitant des réseaux de neurones sur graphe qui sont SE(3)-équivariants, j'atteins des performance qui atteignent ou surpassent l'état de l'art pour la prédiction des propriétés dynamiques à partir de la structure statique. Cela suggère l'émergence d'un ''ordre amorphe'' qui est corrélé avec la dynamique. Cela souligne également l'importance des features directionnelles dans l'identification de cet ordre. Ensemble, ces contributions démontrent le potentiel de la physique statistique pour résoudre les défis de l'AA et l'utilité des modèles d'AA pour faire progresser les sciences physiques.

This thesis explores the relationship between Machine Learning (ML) and Statistical Physics (SP), addressing two significant challenges at the interface between the two fields. First, I examine the problem of Class Imbalance (CI) in the supervised learning set-up by introducing an analytically tractable model grounded in statistical mechanics: I provide a theoretical framework to analyze and interpret CI. Some non-trivial phenomena are observed: for example, a balanced training set often results in sub-optimal performance. Second, I study the phenomenon of dynamical arrest in supercooled liquids through advanced ML models. Leveraging SE(3)-equivariant Graph Neural Networks, I am able to reach or surpass state-of-the art accuracy in the task of prediction of dynamical properties from static structure. This suggests the emergence of a growing ''amorphous order'' that correlates with particle dynamics. It also emphasizes the importance of directional features in identifying this order. Together, these contributions demonstrate the potential of SP in addressing ML challenges and the utility of ML models in advancing physical sciences.