Pérégrination à travers l'optimisation de boîte noire : multimodalité, stochasticité et aversion au risque

Peregrination through blackbox optimization : multimodality, stochasticity and risk aversion.

• Auteur / Autrice : Romain Couderc
• Direction : Jean Bigeon, Charles Audet, Michael Kokkolaras
• Type : Thèse de doctorat
• Discipline(s) : Génie Industriel : conception et production
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Université Grenoble Alpes en cotutelle avec Polytechnique Montréal (Québec, Canada)
• Ecole(s) doctorale(s) : École doctorale Ingénierie - matériaux mécanique énergétique environnement procédés production (Grenoble ; 2008-....)
• Partenaire(s) de recherche : Laboratoire : Sciences pour la conception, l'optimisation et la production (Grenoble)
• Jury : Président / Présidente : Sébastien Le Digabel
• Jury : Examinateurs / Examinatrices : Clémentine Prieur, Frédéric Messine
• Jury : Rapporteurs / Rapporteuses : Sébastien Le Digabel, Sébastien Da Veiga, Wei Chen

Mots clés

Mots clés contrôlés

Programmation non linéaire

Mots clés libres

Optimisation stochastique

Optimisation sans dérivée

Optimisation non linéaire

Optimisation sous contraintes

Optimisation par aversion au risque

Stochastic optimization

Derivative-Free optimization

Non linear optimization

Constrained optimization

Risk-Averse optimization

Résumé

Pour aborder l’optimisation de boite noire, ce projet doctoral comporte trois contributions, dont la conception est agencée autour d'une unique notion: l'exploration Gaussienne de l'espace. Cette exploration consiste à échantillonner des points à partir d'une moyenne et d'un écart-type donnés. Dans une approche directe, l'algorithme se déplace directement vers un point minimisant une certaine quantité d'intérêt dépendant de la fonction objectif et/ou des contraintes. Dans une approche indirecte, les points échantillonnés sont utilisés pour estimer le gradient d'une approximation lisse de la boite noire. Ces deux approches ont pour avantage de ne pas dépendre de la dimension de la boite noire et de ne se fonder que sur les valeurs des fonctions retournées par celle-ci. Elles s'adaptent donc parfaitement au contexte de l'optimisation de boite noire. L'objectif de cette thèse est donc de développer des algorithmes autour de ces approches et d'étudier leurs propriétés de convergence ainsi que leurs efficacités en pratique.Le premier projet de la thèse traite de la problématique de la multimodalité dans un cadre de boite noire déterministe. La méthode de l'entropie croisée (CE) est intégrée dans l'algorithme de recherche directe par treillis adaptatif en tant qu'étape de recherche. Cette étape a pour but d'explorer l'espace des variables de conceptions et d'éviter de converger prématurément vers un minimum local. L'algorithme résultant bénéficie des propriétés de convergence de l'algorithme MADS. Des comparaisons numériques ont été menées avec d'autres algorithmes sur un ensemble de problèmes multimodaux et sur des problèmes d'ingénierie. Les résultats permettent de démontrer la compétitivité de l'algorithme sur ces types de problèmes.Le second projet de thèse aborde les problèmes d'optimisation stochastique de boite noire sans contrainte. Dans ce projet, un algorithme séquentiel (SSO) est développé afin de résoudre une suite d'approximations lisses de plus en plus fines du problème original.Chaque sous problème est résolu grâce à un algorithme de descente de gradient stochastique, appelé ZO-Signum, où les gradients sont estimés à partir d'évaluation de la boite noire seulement et dont la direction de descente est déterminée par le signe d'un vecteur moment. Les propriétés de convergence des deux algorithmes ont été étudiées. Si la boite noire est supposée lisse et est localement convexe autour de ses minima locaux, alors nous avons démontré le taux de convergence d'une sous suite d'itérés de l'algorithme SSO vers un point stationnaire du problème. Finalement, des tests numériques ont été réalisés sur une simulation de centrale solaire et pour la génération d'images adverses. Ils montrent l'efficacité de l'algorithme comparé à d'autres algorithmes de la littérature.Le troisième projet de thèse traite des problèmes d'optimisation de boite noire sous contraintes et soumis à des incertitudes aléatoires et épistémiques. La valeur conditionnelle au risque (CVaR) est utilisée pour gérer les incertitudes dans la fonction objectif et les contraintes. Cette formulation a l'avantage de pouvoir choisir le degré de fiabilité et de traiter les incertitudes épistémiques avec une approche du pire cas lorsque ce degré est pris suffisamment proche de 1. Pour résoudre la relaxation Lagrangienne du problème CVaR-contraint, un algorithme d'approximation stochastique à multi-échelle de temps (RAMSA) est développé. Nous avons prouvé que l'algorithme RAMSA converge presque-sûrement vers un point réalisable du problème CVaR-contraint dont la valeur de la fonction objectif est arbitrairement proche de celle d'une solution locale. Enfin, des tests numériques ont été réalisés avec les buts suivants: établir des stratégies permettant de déterminer la valeur des hyperparamètres de l'algorithme, comparer différents estimateurs du gradient et montrer l'efficacité de l'algorithme sur des problèmes soumis à des incertitudes aléatoires et epistémiques.

To tackle blackbox optimization, this thesis consists of three contributions, designed around a single notion: Gaussian exploration of space. This exploration consists of sampling points from a given mean and standard deviation. In a direct approach, the algorithm moves directly to a point minimizing a certain quantity of interest, depending on the objective function and/or constraints. In an indirect approach, the sampled points are used to estimate the gradient of a smooth blackbox approximation. The advantage of both approaches is that they do not depend on the size of the blackbox, and are based only on the output values returned by the blackbox. Therefore, they are perfectly suited to the context of blackbox optimization. Thus, the aim of this thesis is to develop algorithms based on these approaches and to study their convergence properties as well as their effectiveness in practice.The first contribution deals with the problem of multimodality in a deterministic blackbox framework. The CE method is integrated into the MADS algorithm as a search step. The aim of this step is to explore the space of design variables and avoid converging prematurely to a local minimum. The resulting algorithm benefits from the convergent properties of the MADS algorithm. Numerical comparisons with other algorithms have been performed on a set of multimodal and engineering problems. The results demonstrate the competitiveness of the algorithm on these types of problems.The second contribution deals with unconstrained stochastic blackbox optimization problems. A SSO algorithm is developed to solve a sequence of increasingly finer smooth approximations of the original problem. Each subproblem is solved using a stochastic gradient descent algorithm called ZO-Signum, where gradients are estimated only from blackbox evaluations and the descent direction is determined by the sign of a momentum vector. The convergence properties of both algorithms have been studied. If the blackbox is assumed smooth and is locally convex around its local minima, then a subsequence of iterates of the SSO algorithm is proved to converge to a stationary point. The convergence rate is also analyzed. Finally, numerical tests have been conducted on a simulation of a solar power plant and for the generation of adversarial images. They show the efficiency of the algorithm compared to other state-of-the-art algorithms.The third contribution deals with blackbox constrained optimization problems subject to aleatory and epistemic uncertainties. Conditional value at risk is used to manage uncertainties in the objective function and constraints. This formulation has the advantage of being able to choose the degree of reliability and to handle epistemic uncertainties with a worst case approach when this is taken sufficiently close to 1. To solve the Lagrangian relaxation of the CVaR-constrained problem, a RAMSA algorithm is introduced. Under mild assumptions, the RAMSA algorithm almost surely converges to a feasible point of the CVaR-constrained problem whose objective function value is arbitrarily close to that of a local solution. Finally, numerical tests have been performed with the following goals: to establish strategies for determining the value of the hyperparameters; to compare different gradient estimators and to demonstrate the effectiveness of the algorithm on problems subject to aleatory and epistemic uncertainties.