Apprentissage par noyaux reproduisants : descente de gradient stochastique et estimation de laplacien

Learning with reproducing kernel Hilbert spaces : stochastic gradient descent and laplacian estimation

• Auteur / Autrice : Loucas Pillaud-Vivien
• Direction : Francis Bach, Alessandro Rudi
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 30/10/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Partenaire(s) de recherche : Equipe de recherche : Équipe de recherche Statistical machine learning and parsimony (Paris)
• Jury : Président / Présidente : Jean-Philippe Vert
• Jury : Examinateurs / Examinatrices : Francis Bach, Alessandro Rudi, Jean-Philippe Vert, Arnak S. Dalalyan, Arthur Gretton, Tony Lelièvre
• Jury : Rapporteurs / Rapporteuses : Arnak S. Dalalyan, Arthur Gretton

Mots clés

Mots clés contrôlés

Mathématiques

Mots clés libres

Approximation stochastique

Apprentissage supervisé

Estimation non-paramétrique

Espaces à noyau reproduisant

Réduction de dimension

Dynamique de Langevin

Inégalité de Poincaré

Stochastic approximation

Supervised learning

Non-parametric estimation

Reproducing kernel Hilbert spaces

Dimensionality reduction

Langevin dynamics

Poincaré inequality

Résumé

L'apprentissage automatique a reçu beaucoup d'attention au cours des deux dernières décennies, à la fois de la part de l'industrie pour des problèmes de décision basés sur des données et de la communauté scientifique en général. Cette attention récente est certainement due à sa capacité à résoudre efficacement une large classe de problèmes en grande dimension grâce à des algorithmes rapides et faciles à mettre en œuvre. Plus spécifiquement, quel est le type de problèmes abordés par l'apprentissage automatique ? D'une manière générale, répondre à cette question nécessite de le diviser en deux thèmes distincts : l'apprentissage supervisé et l'apprentissage non supervisé. Le premier vise à déduire des relations entre un phénomène que l'on cherche à prédire et des variables "explicatives" exploitant des informations qui ont fait l'objet d'une supervision. Au contraire, la seconde ne nécessite aucune supervision et son but principal est de parvenir à extraire une structure, des informations ou des caractéristiques importantes relative aux données. Ces deux axes principaux trouvent un écho dans cette thèse. Dans un premier temps, la partie concernant l'apprentissage supervisé étudie théoriquement la pierre angulaire de toutes les techniques d'optimisation liées à ces problèmes : les méthodes de gradient stochastique. Grâce à leur polyvalence, elles participent largement au récent succès de l'apprentissage. Cependant, malgré leur simplicité, leur efficacité n'est pas encore pleinement comprise. L'étude de certaines propriétés de cet algorithme est l'une des deux questions importantes de cette thèse. Dans un second temps, la partie consacrée à l'apprentissage non supervisé est liée à un problème plus spécifique : nous concevons dans cette étude un algorithme pour trouver des modèles réduits pour des dynamiques empruntées à la physique. Cette partie aborde une question cruciale en physique statistique computationnelle (également appelée dynamique moléculaire).

Machine Learning has received a lot of attention during the last two decades, both from industry for data-driven decision problems and from the scientific community in general. This recent attention is certainly due to its ability to efficiently solve a wide class of high-dimensional problems with fast and easy- to-implement algorithms. What is the type of problems machine learning tackles ? Generally speaking, answering this question requires to divide it into two distinct topics: supervised and unsupervised learning. The first one aims to infer relationships between a phenomenon one seeks to predict and "explanatory" variables leveraging supervised information. On the contrary, the second one does not need any supervision and aims at extracting some structure, information or significant features of the variables. These two main directions find an echo in this thesis. On the one hand, the supervised learning part theoretically studies the cornerstone of all optimization techniques for these problems: stochastic gradient methods. For their versatility, they are the workhorses of the recent success of ML. However, despite their simplicity, their efficiency is not yet fully understood. Establishing some properties of this algorithm is one of the two important questions of this thesis. On the other hand, the part concerned with unsupervised learning is more problem-specific: we design an algorithm to find reduced order models in physically-based dynamics addressing a crucial question in computational statistical physics (also called molecular dynamics).