Monte Carlo séquentiel pour le choix de modèle bayésien : théorie et méthodes

Monte Carlo methods for sampling high-dimensional binary vectors

• Auteur / Autrice : Christian Schäfer
• Direction : Nicolas Chopin
• Type : Thèse de doctorat
• Discipline(s) : Sciences
• Date : Soutenance le 14/11/2012
• Etablissement(s) : Paris 9
• Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en mathématiques de la décision (Paris)

Mots clés

Mots clés contrôlés

Statistique bayésienne

Système binaire (mathématiques)

Monte-Carlo, Méthode de

Mots clés libres

Monte Carlo séquentiel

Sélection bayésienne de variable

Familles paramétriques binaires

Optimisation binaire

Sequential Monte Carlo

Bayesian variable selection

Binary parametric families

Binary optimization

Résumé

Cette thèse est consacrée à l'étude des méthodes de Monte Carlo pour l'échantillonnage de vecteurs binaires de grande dimension à partir de lois cibles complexes. Si l'espace-état est trop grand pour une énumération exhaustive, ces méthodes permettent d'estimer l’espérance d’une loi donnée par rapport à une fonction d'intérêt. Les approches standards sont principalement basées sur les méthodes Monte Carlo à chaîne de Markov de type marche aléatoire, où la loi stationnaire de la chaîne est la distribution d’intérêt et la moyenne de la trajectoire converge vers l’espérance par le théorème ergodique. Nous proposons un nouvel algorithme d'échantillonnage basé sur les méthodes de Monte Carlo séquentielles qui sont plus robustes au problème de multimodalité grâce à une étape de recuit simulé. La performance de l'échantillonneur de Monte Carlo séquentiel dépend de la capacité d’échantillonner selon des lois auxiliaires qui sont, en un certain sens, proche à la loi de l'intérêt. Le travail principal de cette thèse présente des stratégies visant à construire des familles paramétriques pour l'échantillonnage de vecteurs binaires avec dépendances. L'utilité de cette approche est démontrée dans le cadre de sélection bayésienne de variables et l'optimisation combinatoire des fonctions pseudo-booléennes.

This thesis is concerned with Monte Carlo methods for sampling high-dimensional binary vectors from complex distributions of interest. If the state space is too large for exhaustive enumeration, these methods provide a mean of estimating the expected value with respect to some function of interest. Standard approaches are mostly based on random walk type Markov chain Monte Carlo, where the equilibrium distribution of the chain is the distribution of interest and its ergodic mean converges to the expected value. We propose a novel sampling algorithm based on sequential Monte Carlo methodology which copes well with multi-modal problems by virtue of an annealing schedule. The performance of the proposed sequential Monte Carlo sampler depends on the ability to sample proposals from auxiliary distributions which are, in a certain sense, close to the current distribution of interest. The core work of this thesis discusses strategies to construct parametric families for sampling binary vectors with dependencies. The usefulness of this approach is demonstrated in the context of Bayesian variable selection and combinatorial optimization of pseudo-Boolean objective functions.