Optimisation de fonctions coûteusesModèles gaussiens pour une utilisation efficace du budget d'évaluations : théorie et pratique industrielle

Optimization of expensive-to-evaluate functions. Gaussian processes for an efficient use of the evaluation budget : theory and practice

• Auteur / Autrice : Julien Villemonteix
• Direction : Éric Walter
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance en 2008
• Etablissement(s) : Paris 11
• Ecole(s) doctorale(s) : Ecole doctorale Sciences et Technologies de l'Information, des Télécommunications et des Systèmes (Orsay, Essonne2000-2015)
• Partenaire(s) de recherche : autre partenaire : Université de Paris-Sud. Faculté des sciences d'Orsay (Essonne)

Mots clés

Mots clés contrôlés

Ingénierie

Processus gaussiens

Optimisation globale

Mots clés libres

Optimisation multi-objectif

Krigeage

Cfd

Résumé

Ce travail de thèse traite d’une question centrale à de nombreux problèmes d’optimisation, en particulier dans l’ingénierie. Comment optimiser une fonction lorsque le budget d’évaluations est limité au regard de la dimension et de la complexité du problème ? Ce travail discute d’algorithmes d’optimisation spécifiques à ce contexte pour lequel la plupart des méthodes classiques sont inadaptées. Le principe commun aux méthodes proposées est d’utiliser processus gaussiens et krigeage pour construire une approximation peu coûteuse de la fonction à optimiser. Cette approximation est ensuite utilisée pour choisir itérativement les évaluations à réaliser suivant un critère d’échantillonnage. La plupart des critères proposés dans la littérature cherche à échantillonner la fonction là où l’apparition d’un optimum est la plus probable. En comparaison, l’algorithme IAGO (pour Informational Approach to Global Optimization), principale contribution de ces travaux, cherche à maximiser la quantité d’information apportée, sur la position de l’optimum, par l’évaluation réalisée. Les problématiques industrielles ont guidé l’organisation de ce mémoire, qui se destine à la communauté de l’optimisation tout comme aux praticiens confrontés à des fonctions coûteuses. Aussi les applications industrielles y tiennent-elle une place importante tout comme la mise en place de l’algorithme IAGO. Nous détaillons non seulement le cas standard de l’optimisation d’une fonction réelle, mais aussi, la prise en compte de contraintes, de bruit sur les résultats des évaluations, de résultats d’évaluation du gradient, de problèmes multi-objectifs, ou encore d’incertitudes de fabrication significatives.

This dissertation is driven by a question central to many industrial optimization problems: how to optimize a function when the budget of evaluations is severely limited by either time or cost? For example, when optimization relies on computationally expensive computer simulations taking several hours, the dimension and complexity of the optimization problem may seem irreconcilable with the budget of evaluation. This work discusses the use of optimization algorithms dedicated to this context, which is out of range for most classical methods. The common principle of the methods discussed is to use Gaussian processes and Kriging to build a cheap proxy for the function to be optimized. This approximation is used to choose iteratively the evaluations. Most of the techniques proposed over the years sample where the optimum is most likely to appear. By contrast, we propose an algorithm, named IAGO for Informational Approach to Global Optimization, which samples where the information gain on the optimizer location is deemed to be highest. The organisation of this dissertation is a direct consequence of the industrial concerns which drove this work. We hope it can be of use to the optimization community, but most of all to practitioners confronted with expensive-to evaluate functions. This is why we insist on industrial applications and on the practical use of IAGO for the optimization of a real function, but also when other industrial concerns have to be considered. In particular, we discuss how to handle constraints, noisy evaluation results, multi-objective problems, derivative evaluation results, or significant manufacturing uncertainties.