Optimisation bayésienne avec variables mixtes pour la chimie

Bayesian optimization with mixed variables for chemistry

• Auteur / Autrice : Théo Rabut
• Direction : Hamamache Kheddouci
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/12/2024
• Etablissement(s) : Lyon 1
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'InfoRmatique en Images et Systèmes d'information (Ecully, Rhône ; 2003-....)
• Jury : Président / Présidente : Alexandre Aussem
• Jury : Examinateurs / Examinatrices : Hamamache Kheddouci, Jean-Luc Baril, Baya Lydia Boudjeloud-Assala, Zahia Guessoum
• Jury : Rapporteurs / Rapporteuses : Jean-Luc Baril, Baya Lydia Boudjeloud-Assala

Mots clés

Mots clés contrôlés

Simulation par ordinateur

Réactions chimiques

Statistique bayésienne

Apprentissage automatique

Chimie -- Informatique

Mots clés libres

Optimisation

Apprentissage automatique

Processus chimique

Boîte-Noire

Optimisation

Machine Learning

Chemical Process

Black-Box optimization

Résumé

Chaque réaction chimique doit être optimisée avant son industrialisation. L’objectif de cette optimisation est de trouver, en réalisant des expériences, les paramètres réactionnels (e.g. température, concentration, pression) qui minimisent ou maximisent un objectif (e.g. rendement, sélectivité). La conduction de ces expériences nécessite une grande quantité de connaissances expertes. Malgré cela, il n’est raisonnablement pas possible d’établir une forme analytique des relations entre les paramètres réactionnels et les objectifs. Nous parlons donc de l’optimisation d’une boîte-noire. La réalisation d'expériences peut s'avérer coûteuse en termes matériels, temporels ou simplement économiques. Motivés par les contraintes écologiques et économiques qui s’imposent à l’industrie, les travaux décrits dans ce manuscrit s'inscrivent dans un paradigme particulier, à savoir, l'optimisation d'une boîte-noire avec le minimum d'évaluations possibles. Récemment, l’optimisation Bayésienne s’est établie comme la méthode de référence pour l’optimisation de boîte-noire chère à évaluer. Toutefois, il existe de nombreuses variantes au problème d’optimisation de réaction classique. Les travaux exposés dans ce manuscrit traitent un cas particulier où, les paramètres réactionnels sont de types différents. Nous nous intéressons aux variables continues comme le choix de la température de réaction et aux variables catégorielles comme le choix de la base ou du solvant. Ces dernières variables, discrètes et non-ordonnées, sont par leur nature non-numérique difficiles à traiter. Ainsi, la première problématique de cette thèse est la proposition d'une méthode d’optimisation adaptée aux variables mixtes pour la chimie. Nous avons rencontré la nécessité de créer des simulateurs de réactions pour pouvoir évaluer la qualité de nos propositions. Nous traitons donc, dans une première partie, la méthodologie et la qualité de ces simulateurs construits à partir de jeux de données représentant des réactions et des formulations chimiques. Dans un deuxième temps, nous exposerons notre proposition pour l’optimisation de réactions chimiques avec variables continues et catégorielles. Notre proposition est composée d’un processus gaussien construit avec une fonction de covariance tirée de la littérature et d’une comparaison de deux méthodes pour l’optimisation de la fonction d’acquisition. Par la suite, nous proposons une analyse fine des résultats d’optimisation de nos simulateurs. En effet, malgré la nature probabiliste de l’optimisation, nous considérons que, dans des cas rares, la méthode d’optimisation suggère des expériences redondantes, voir inutiles. Nous exposons donc une suite de visualisation sur les différentes composantes pour déterminer la cause de ces suggestions. La dernière partie de cette thèse expose une proposition pour l’amélioration de notre méthode d’optimisation en se concentrant sur la partie modélisation qui, dans sa forme actuelle, ne différencie pas les variables catégorielles. Or, nous verrons que ces variables peuvent avoir des impacts différents sur la fonction objectif. Ces travaux s’inspirent d’un mécanisme connu sous le nom de Automatic Relevance Determination dans le communauté de l’apprentissage statistique. Nous appelons donc notre modification d’une fonction de covariance populaire, Categorical Automatic Relevance Determination ou CATARD. À travers ce manuscrit, nous exposons un gain de performances pour l’optimisation de fonctions sous-jacentes aux réactions et formulations chimiques avec des paramètres continus et catégoriels. De plus, un regard particulier est tourné vers d’autres applications de notre méthode d’optimisation dans la mesure où il existe de nombreux problèmes analogues à notre problème d’optimisation de réaction chimique à variables mixtes.

Every chemical reaction must be optimized before industrialization. The goal of this optimization is to determine, through experiments, the reaction parameters (e.g., temperature, concentration, pressure) that minimize or maximize an objective (e.g., yield, selectivity). Conducting these experiments requires a substantial amount of expert knowledge. Nevertheless, it is not reasonably possible to establish an analytical form of the relationship between the reaction para- meters and the objectives. Therefore, we refer to this as the optimization of a black box. Experiments can be expensive, requiring substantial resources, time, and financial investment. Motivated by the ecological and economic challenges in the industry, this manuscript focuses on a specific paradigm : optimizing a black-box model with the minimum number of evaluations needed. Recently, Bayesian optimization has emerged as the benchmark method for optimizing expensive black-box functions. However, there are many variants of the classical reaction optimization problem. The work presented in this manuscript addresses a specific case where the reaction parameters are of different types. We focus on continuous variables, such as the choice of reaction temperature, and categorical variables, such as the choice of base or solvent. These latter variables, being discrete and unordered, are inherently challenging to handle due to their non-numeric nature. Thus, the first challenge of this thesis is to propose an optimization method suitable for mixed variables in chemistry. We encountered the need to create reaction simulators to evaluate the quality of our proposals. Therefore, in the first part, we address the methodology and quality of these simulators, constructed from datasets representing reactions and chemical formulations. In the second part, we will present our proposal for the optimization of chemical reactions with continuous and categorical variables. Our proposal consists of a Gaussian process built with a covariance function drawn from the literature and a comparison of two methods for optimizing the acquisition function. Subsequently, we provide a detailed analysis of the optimization results from our simulators. Indeed, despite the probabilistic nature of optimization, we find that, in rare cases, the optimization method suggests redundant or even unne- cessary experiments. Thus, we present a series of visualizations of the different components to determine the cause of these suggestions. The final part of this thesis presents a proposal for improving our optimiza- tion method by focusing on the modeling aspect, which in its current form does not differentiate categorical variables. However, we will show that these variables can have drastically different impacts on the objective function. This work draws inspiration from a mechanism known as Automatic Relevance Determination in the statistical learning community. We therefore refer to our modification of a popular covariance function as Categorical Automatic Relevance Determination or CATARD. Through this manuscript, we demonstrate a performance gain in optimizing underlying functions related to chemical reactions and formulations with continuous and categorical parameters. Additionally, we give particular attention to other applications of our optimization method, as there are many analogous problems to our mixed-variable chemical reaction optimization problem.