Simulation de Monte Carlo distribuée avec apprentissage statistique à grande échelle : Inférence bayésienne et prédiction conformelle

Distributed Monte Carlo simulation with large-scale Machine Learning : Bayesian Inference and Conformal Prediction

• Auteur / Autrice : Vincent Plassier
• Direction : Éric Moulines, Alain Durmus
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 05/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées (Palaiseau, Essonne) - Centre de Mathématiques Appliquées - Ecole Polytechnique / CMAP
• Jury : Président / Présidente : Gersende Fort
• Jury : Examinateurs / Examinatrices : Alain Durmus, Aurélien Bellet, Gareth E. Roberts, Sylvain Arlot, Christian P. Robert
• Jury : Rapporteurs / Rapporteuses : Aurélien Bellet, Gareth E. Roberts

Mots clés

Mots clés contrôlés

Incertitude de mesure

Statistique bayésienne

Monte-Carlo, Méthode de

Mots clés libres

Méthodes de Monte Carlo

Apprentissage fédéré

Inférence bayésienne

Prediction conformelle

Quantification des incertitudes

Variables de contrôle

Monte Carlo's methods

Federated Learning

Bayesian inference

Conformal prediction

Uncertainty quantification

Control variates

Résumé

Centraliser les données est indésirable dans de nombreux scénarios, notamment lorsque des informations sensibles sont traitées. Dans de tels cas, la nécessité de méthodes alternatives devient évidente. Étant donné que les grands ensembles de données facilitent l'apprentissage de modèles efficaces, les méthodes distribuées se sont imposées comme un outil puissant pour surmonter les défis de la centralisation des données. Cette thèse présente des approches innovantes dans les secteurs de l'inférence bayésienne à grande échelle et la quantification des incertitudes, avec pour but de fournir des solutions à la centralisation des données. Les approches de Monte Carlo fédéré permettent à plusieurs agents/nœuds d'effectuer des calculs localement et en toute sécurité, tandis qu'un serveur central combine les résultats obtenus pour échantillonner selon la posteriori globale. Ces techniques d'échantillonnage a posteriori bayésiennes bénéficient de l'incorporation des connaissances antérieures, ce qui conduit à des résultats améliorés. De plus, l'incertitude associée aux paramètres et aux prédictions est naturellement quantifiée, cette capacité étant d'autant plus nécessaire en présence d'un petit nombre de données ou de données bruitées.La première partie de ce manuscrit se concentre sur les méthodes de Monte Carlo via les chaînes de Markov. En particulier, nous introduisons deux procédures, appelées DG-LMC et FALD, conçues pour cibler une distribution a posteriori tout en assurant la scalabilité. Chacune de ces méthodes reposent sur un serveur central pour orchestrer plusieurs entités locales. Celui-ci agrège l'information provenant de chaque agent afin de produire des solutions statistiques tout en limitant la quantité de données transférées. Cette approche réduit le nombre de communications entre participants, ce qui la rend particulièrement avantageuse dans les environnements fédérés avec une bande passante limitée. Étant donné la nature distribuée des ensembles de données d'aujourd'hui, des préoccupations concernant la confiance et la confidentialité se posent lors du transfert d'informations vers un serveur central. Les méthodes proposées non seulement abordent des applications pratiques, mais étendent également les algorithmes d'apprentissage existants aux problèmes d'inférence bayésienne. Les approches développées présentent des applications potentielles dans divers domaines, notamment l'épidémiologie et la finance, où l'inférence à grande échelle et la confidentialité des données sont des préoccupations majeures.La deuxième partie de la thèse se concentre sur la gestion de l'incertitude. Initialement, nous présentons l'approche bayésienne, qui consiste à définir une a priori et une vraisemblance. Cette première méthode se base sur des opérateurs de compression afin de résoudre les problèmes de bande passante. Dans la dernière partie, nous introduisons une méthode fréquentiste basée sur les prédictions conformelles. Contrairement aux méthodes précédentes, cette approche fonctionne avec n'importe quel modèle prédictif. Nommée DP-FedCP, cette méthode utilise la technique de régression quantile pour générer des ensembles de prédictions personnalisés et robustes. En outre, elle aborde efficacement l'hétérogénéité entre agents via la détermination de quantiles basés sur des pondérations d'importance. Un aspect crucial de notre approche reste la préservation de la confidentialité, nous veillons à protéger les informations sensibles de chaque utilisateur.

Centralizing data is impractical or undesirable in many scenarios, especially when sensitive information is involved. In such cases, the need for alternative methods becomes evident. As large datasets are known to facilitate the learning of efficient models, distributed methods have emerged as a powerful tool to overcome the challenges posed by centralized data. Consequently, this thesis introduces innovative approaches to tackle large-scale Bayesian inference and uncertainty quantification, aiming to provide effective solutions in the context of distributed data environments. The federated Monte Carlo (MC) approaches allow multiple agents/nodes to conduct computations locally and securely, with a central server combining the results to obtain samples from the global posterior distribution. Bayesian posterior sampling techniques benefit from the incorporation of prior knowledge, leading to improved results. Additionally, the uncertainty associated with the parameters and the predictions are naturally quantified, which is crucial for decision-making. Especially with limited or noisy data, the ability to quantify uncertainty becomes even more essential.The first part of this manuscript focuses on MC via Markov chains (MCMC) methods. In particular, we introduce two procedures, named DG-LMC and FALD, designed to target a global posterior distribution while ensuring scalability. Local agents are associated with a central server that aggregates information from each agent to generate samples from the posterior distribution. This approach minimizes the need to transmit large amounts of data across participating agents, making it especially advantageous in federated environments with limited bandwidth or low computational power. Considering the distributed nature of today's datasets, concerns about trust and confidence arise when transferring information to a central server. The proposed methods not only address practical applications but also extend existing learning algorithms to Bayesian inference problems. The proposed approach contributes to the development of more robust and efficient machine learning algorithms, and holds potential applications in various domains, including epidemiology and finance, where large-scale inference and data privacy are significant concerns. To demonstrate the effectiveness of the approach, real-world datasets are employed, and the results show the performance of federated MCMC simulation.The second part of the thesis focuses on uncertainty management. Initially, we present the Bayesian approach, which involves defining a prior and a likelihood. To address bandwidth bottlenecks while efficiently generating samples, our proposed approach leverages compression operators. In the final part of this thesis, we introduce a novel frequentist FL method based on conformal predictions. Unlike other methods, our model-agnostic approach does not rely on specific model assumptions and can be applied to any underlying prediction model. Referred to as DP-FedCP, this method leverages quantile regression techniques to generate personalized prediction sets while maintaining robustness to outliers. The label shift between agents is addressed by determining quantiles based on importance weights. One crucial aspect of our approach is the preservation of differential privacy, it allows users to assess the confidence level of predictions and make informed decisions based on the associated level of uncertainty. By incorporating this privacy measure, we ensure safeguarding the user' sensitive information.