Contributions à l'apprentissage statistique de lois a posteriori pour l'inférence bayésienne sans vraisemblance

Contributions to posterior learning for likelihood-free Bayesian inference

• Auteur / Autrice : Elouan Argouarc h
• Direction : François Desbouvries, Eiji Kawasaki
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 11/12/2024
• Etablissement(s) : Institut polytechnique de Paris en cotutelle avec Kawasaki
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Télécom SudParis (Evry ; 2012-....) - Institut Polytechnique de Paris / IP Paris - Statistiques, Optimisation, Probabilités / SOP - SAMOVAR - Communications, Images et Traitement de l'Information / TSP - CITI
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom SudParis (Evry ; 2012-....)
• Jury : Président / Présidente : Mathilde Mougeot
• Jury : Examinateurs / Examinatrices : Jean-Yves Tourneret, François Septier, Guillaume Charpiat, Erwan Le Pennec
• Jury : Rapporteurs / Rapporteuses : Jean-Yves Tourneret, François Septier
• DOI : 10.70675/6b0a8bb0z1d4dz4c99z9ca3z4282acf147dc

Mots clés

Mots clés contrôlés

Mathématiques

Statistique bayésienne

Apprentissage automatique

Mots clés libres

Apprentissage Automatique

Inférence Bayésienne

Likelihood-Free

Echantillonnage et estimation Monte Carlo

Quantification d'incertitude

Machine Learning

Bayesian Inference

Likelihood-Free

Monte Carlo sampling and estimation

Uncertainty quantification

Résumé

L'inférence bayésienne a posteriori est utilisée dans de nombreuses applications scientifiques et constitue une méthodologie répandue pour la prise de décision en situation d'incertitude. Elle permet aux praticiens de confronter les observations du monde réel à des modèles d'observation pertinents, et d'inférer en retour la distribution d'une variable explicative. Dans de nombreux domaines et applications pratiques, nous considérons des modèles d'observation complexes pour leur pertinence scientifique, mais au prix de densités de probabilité incalculables. En conséquence, à la fois la vraisemblance et la distribution a posteriori sont indisponibles, rendant l'inférence Bayésienne à l'aide des méthodes de Monte Carlo habituelles irréalisable. Dans ce travail nous supposons que le modèle d'observation nous génère un jeu de données, et le contexte de cette thèse est de coupler les méthodes Bayésienne à l'apprentissage statistique afin de pallier cette limitation et permettre l'inférence a posteriori dans le cadre likelihood-free. Ce problème, formulé comme l'apprentissage d'une distribution de probabilité, inclut les tâches habituelles de classification et de régression, mais il peut également être une alternative aux méthodes “Approximate Bayesian Computation” dans le contexte de l'inférence basée sur la simulation, où le modèle d'observation est un modèle de simulation avec une densité implicite. L'objectif de cette thèse est de proposer des contributions méthodologiques pour l'apprentissage Bayésien a posteriori. Plus précisément, notre objectif principal est de comparer différentes méthodes d'apprentissage dans le cadre de l'échantillonnage Monte Carlo et de la quantification d'incertitude. Nous considérons d'abord l'approximation a posteriori basée sur le “likelihood-to-evidence-ratio”, qui a l'avantage principal de transformer un problème d'apprentissage de densité conditionnelle en un problème de classification. Dans le contexte de l'échantillonnage Monte Carlo, nous proposons une méthodologie pour échantillonner la distribution résultante d'une telle approximation. Nous tirons parti de la structure sous-jacente du modèle, compatible avec les algorithmes d'échantillonnage usuels basés sur un quotient de densités, pour obtenir des procédures d'échantillonnage simples, sans hyperparamètre et ne nécessitant d'évaluer aucune densité. Nous nous tournons ensuite vers le problème de la quantification de l'incertitude épistémique. D'une part, les modèles normalisés, tels que la construction discriminante, sont faciles à appliquer dans le contexte de la quantification de l'incertitude bayésienne. D'autre part, bien que les modèles non normalisés, comme le likelihood-to-evidence-ratio, ne soient pas facilement applicables dans les problèmes de quantification d'incertitude épistémique, une construction non normalisée spécifique, que nous appelons générative, est effectivement compatible avec la quantification de l'incertitude bayésienne via la distribution prédictive a posteriori. Dans ce contexte, nous expliquons comment réaliser cette quantification de l'incertitude dans les deux techniques de modélisation, générative et discriminante, puis nous proposons une comparaison des deux constructions dans le cadre de l'apprentissage bayésien. Enfin nous abordons le problème de la modélisation paramétrique avec densité tractable, qui est effectivement un prérequis pour la quantification de l'incertitude épistémique dans les méthodes générative et discriminante. Nous proposons une nouvelle construction d'un modèle paramétrique, qui est une double extension des modèles de mélange et des flots normalisant. Ce modèle peut être appliqué à de nombreux types de problèmes statistiques, tels que l'inférence variationnelle, l'estimation de densité et de densité conditionnelle, car il bénéficie d'une évaluation rapide et exacte de la fonction de densité, d'un schéma d'échantillonnage simple, et d'une approche de reparamétrisassions des gradients.

Bayesian posterior inference is used in many scientific applications and is a prevalent methodology for decision-making under uncertainty. It enables practitioners to confront real-world observations with relevant observation models, and in turn, infer the distribution over an explanatory variable. In many fields and practical applications, we consider ever more intricate observation models for their otherwise scientific relevance, but at the cost of intractable probability density functions. As a result, both the likelihood and the posterior are unavailable, making posterior inference using the usual Monte Carlo methods unfeasible.In this thesis, we suppose that the observation model provides a recorded dataset, and our aim is to bring together Bayesian inference and statistical learning methods to perform posterior inference in a likelihood-free setting. This problem, formulated as learning an approximation of a posterior distribution, includes the usual statistical learning tasks of regression and classification modeling, but it can also be an alternative to Approximate Bayesian Computation methods in the context of simulation-based inference, where the observation model is instead a simulation model with implicit density.The aim of this thesis is to propose methodological contributions for Bayesian posterior learning. More precisely, our main goal is to compare different learning methods under the scope of Monte Carlo sampling and uncertainty quantification.We first consider the posterior approximation based on the likelihood-to-evidence ratio, which has the main advantage that it turns a problem of conditional density learning into a problem of binary classification. In the context of Monte Carlo sampling, we propose a methodology for sampling from such a posterior approximation. We leverage the structure of the underlying model, which is conveniently compatible with the usual ratio-based sampling algorithms, to obtain straightforward, parameter-free, and density-free sampling procedures.We then turn to the problem of uncertainty quantification. On the one hand, normalized models such as the discriminative construction are easy to apply in the context of Bayesian uncertainty quantification. On the other hand, while unnormalized models, such as the likelihood-to-evidence-ratio, are not easily applied in uncertainty-aware learning tasks, a specific unnormalized construction, which we refer to as generative, is indeed compatible with Bayesian uncertainty quantification via the posterior predictive distribution. In this context, we explain how to carry out uncertainty quantification in both modeling techniques, and we then propose a comparison of the two constructions under the scope of Bayesian learning.We finally turn to the problem of parametric modeling with tractable density, which is indeed a requirement for epistemic uncertainty quantification in generative and discriminative modeling methods. We propose a new construction of a parametric model, which is an extension of both mixture models and normalizing flows. This model can be applied to many different types of statistical problems, such as variational inference, density estimation, and conditional density estimation, as it benefits from rapid and exact density evaluation, a straightforward sampling scheme, and a gradient reparameterization approach.