Contributions théoriques aux méthodes de Monte Carlo, et applications à la Statistique

Theoretical contributions to Monte Carlo methods, and applications to Statistics

• Auteur / Autrice : Lionel Riou-Durand
• Direction : Nicolas Chopin
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 05/07/2019
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en économie et statistique (France)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École nationale de la statistique et de l'administration économique (Palaiseau, Essonne)
• Jury : Président / Présidente : Christian P. Robert
• Jury : Examinateurs / Examinatrices : Nicolas Chopin, Christian P. Robert, Arnaud Guillin, Pierre E. Jacob, Arnak S. Dalalyan, Stéphanie Allassonnière
• Jury : Rapporteurs / Rapporteuses : Arnaud Guillin, Pierre E. Jacob

Mots clés

Mots clés contrôlés

Distribution asymptotique (théorie des probabilités)

Théorie ergodique

Maximum de pseudo-vraisemblance (statistique)

Monte-Carlo, Méthode de

Mots clés libres

Échantillonnage MCMC

M-Estimateurs

Ergodicité géométrique

Temps de mélange

Couplages

Distance de Wassertein

MCMC sampling

M-Estimators

Geometric ergodicity

Mixing time

Couplings

Wasserstein distance

Résumé

La première partie de cette thèse concerne l'inférence de modèles statistiques non normalisés. Nous étudions deux méthodes d'inférence basées sur de l'échantillonnage aléatoire : Monte-Carlo MLE (Geyer, 1994), et Noise Contrastive Estimation (Gutmann et Hyvarinen, 2010). Cette dernière méthode fut soutenue par une justification numérique d'une meilleure stabilité, mais aucun résultat théorique n'avait encore été prouvé. Nous prouvons que Noise Contrastive Estimation est plus robuste au choix de la distribution d'échantillonnage. Nous évaluons le gain de précision en fonction du budget computationnel. La deuxième partie de cette thèse concerne l'échantillonnage aléatoire approché pour les distributions de grande dimension. La performance de la plupart des méthodes d’échantillonnage se détériore rapidement lorsque la dimension augmente, mais plusieurs méthodes ont prouvé leur efficacité (e.g. Hamiltonian Monte Carlo, Langevin Monte Carlo). Dans la continuité de certains travaux récents (Eberle et al., 2017 ; Cheng et al., 2018), nous étudions certaines discrétisations d’un processus connu sous le nom de kinetic Langevin diffusion. Nous établissons des vitesses de convergence explicites vers la distribution d'échantillonnage, qui ont une dépendance polynomiale en la dimension. Notre travail améliore et étend les résultats de Cheng et al. pour les densités log-concaves.

The first part of this thesis concerns the inference of un-normalized statistical models. We study two methods of inference based on sampling, known as Monte-Carlo MLE (Geyer, 1994), and Noise Contrastive Estimation (Gutmann and Hyvarinen, 2010). The latter method was supported by numerical evidence of improved stability, but no theoretical results had yet been proven. We prove that Noise Contrastive Estimation is more robust to the choice of the sampling distribution. We assess the gain of accuracy depending on the computational budget. The second part of this thesis concerns approximate sampling for high dimensional distributions. The performance of most samplers deteriorates fast when the dimension increases, but several methods have proven their effectiveness (e.g. Hamiltonian Monte Carlo, Langevin Monte Carlo). In the continuity of some recent works (Eberle et al., 2017; Cheng et al., 2018), we study some discretizations of the kinetic Langevin diffusion process and establish explicit rates of convergence towards the sampling distribution, that scales polynomially fast when the dimension increases. Our work improves and extends the results established by Cheng et al. for log-concave densities.