Limites fondamentales de l'inférence statistique : une approche par la physique statistique

Fundamental limits of inference : a statistical physics approach

• Auteur / Autrice : Léo Miolane
• Direction : Marc Lelarge
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 06/06/2019
• Etablissement(s) : Paris Sciences et Lettres (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique - Département d'informatique de l'École normale supérieure / DI-ENS
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Gérard Ben Arous
• Jury : Examinateurs / Examinatrices : Marc Lelarge, Gérard Ben Arous, Nike Sun, Dmitry Panchenko, Elisabeth Gassiat, Stéphane Boucheron
• Jury : Rapporteurs / Rapporteuses : Nike Sun, Dmitry Panchenko

Mots clés

Mots clés contrôlés

Mathématiques

Mots clés libres

Inférence statistique

Théorie de l’information

Physique statistique

Verres de spin

Détection de communauté dans des graphes

Estimation de structure de faible rang

Modèle linéaire généralisé

Lasso

Statistical inference

Information theory

Statistical physics

Spin glasses

Community detection on graphs

Low-rank estimation

Generalized linear models

Lasso

Résumé

Nous étudions des problèmes statistiques classiques, tels que la détection de communautés dans un graphe, l’analyse en composantes principales, les modèles de mélanges Gaussiens, les modèles linéaires (généralisés ou non), dans un cadre Bayésien. Nous calculons pour ces problèmes le “risque de Bayes” qui est la plus petite erreur atteignable par une méthode statistique, dans la limite de grande dimension. Nous observons alors un phénomène surprenant : dans de nombreux cas il existe une valeur critique de l’intensité du bruit au-delà de laquelle il n’est plus possible d’extraire de l’information des données. En dessous de ce seuil, nous comparons la performance d’algorithmes polynomiaux à celle optimale. Dans de nombreuses situations nous observons un écart : bien qu’il soit possible – en théorie – d’estimer le signal, aucune méthode algorithmiquement efficace ne parvient à être optimale. Dans ce manuscrit, nous adoptons une approche issue de la physique statistique qui explique ces phénomènes en termes de transitions de phase. Les méthodes et outils que nous utilisons proviennent donc de la physique, plus précisément de l’étude mathématique des verres de spins.

We study classical statistical problems such as community detection on graphs, Principal Component Analysis (PCA), sparse PCA, Gaussian mixture clustering, linear and generalized linear models, in a Bayesian framework. We compute the best estimation performance (often denoted as “Bayes Risk”) achievable by any statistical method in the high dimensional regime. This allows to observe surprising phenomena: for many problems, there exists a critical noise level above which it is impossible to estimate better than random guessing. Below this threshold, we compare the performance of existing polynomial-time algorithms to the optimal one and observe a gap in many situations: even if non-trivial estimation is theoretically possible, computationally efficient methods do not manage to achieve optimality. From a statistical physics point of view that we adopt throughout this manuscript, these phenomena can be explained by phase transitions. The tools and methods of this thesis are therefore mainly issued from statistical physics, more precisely from the mathematical study of spin glasses.