Quelques contributions à l'optimisation globale

Global optimization : contributions

• Auteur / Autrice : Cédric Malherbe
• Direction : Nicolas Vayatis
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 24/11/2017
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques et de leurs applications (1990-2019 ; Cachan, Val-de-Marne)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
• Jury : Président / Présidente : Alexandre B. Tsybakov
• Jury : Examinateurs / Examinatrices : Nicolas Vayatis, Alexandre B. Tsybakov, Gilles Blanchard, Jean-Philippe Vert, Rémi Munos, Olivier Teytaud
• Jury : Rapporteurs / Rapporteuses : Gilles Blanchard, Jean-Philippe Vert

Mots clés

Mots clés contrôlés

Optimisation mathématique

Mots clés libres

Statistiques

Optimisation

Constante de Lipschitz

Statistics

Optimization

Lipschitz constant

Résumé

Ce travail de thèse s’intéresse au problème d’optimisation séquentielle d’une fonction inconnue définie sur un ensemble continu et borné. Ce type de problème apparaît notamment dans la conception de systèmes complexes, lorsque l’on cherche à optimiser le résultat de simulations numériques ou plus simplement lorsque la fonction que l’on souhaite optimiser ne présente aucune forme de régularité évidente comme la linéarité ou la convexité. Dans un premier temps, nous nous focalisons sur le cas particulier des fonctions lipschitziennes. Nous introduisons deux nouvelles stratégies ayant pour but d’optimiser n’importe quelle fonction de coefficient de Lipschitz connu puis inconnu. Ensuite, en introduisant différentes mesures de régularité, nous formulons et obtenons des résultats de consistance pour ces méthodes ainsi que des vitesses de convergence sur leurs erreurs d’approximation. Dans une seconde partie, nous nous proposons d’explorer le domaine de l’ordonnancement binaire dans le but de développer des stratégies d’optimisation pour fonctions non régulières. En observant que l’apprentissage de la règle d’ordonnancement induite par la fonction inconnue permet l’identification systématique de son optimum, nous faisons le lien entre théorie de l’ordonnancement et théorie de l’optimisation, ce qui nous permet de développer de nouvelles méthodes reposant sur le choix de n’importe quelle technique d’ordonnancement et de formuler différents résultats de convergence pour l’optimisation de fonctions non régulières. Enfin, les stratégies d’optimisation développées au cours de la thèse sont comparées aux méthodes présentes dans l’état de l’art sur des problèmes de calibration de systèmes d’apprentissages ainsi que sur des problèmes synthétiques fréquemment rencontrés dans le domaine de l’optimisation globale.

This work addresses the sequential optimization of an unknown and potentially non-convex function over a continuous and bounded set. These problems are of particular interest when evaluating the function requires numerical simulations with significant computational cost or when the objective function does not satisfy the standard properties used in optimization such as linearity or convexity. In a first part, we consider the problem of designing sequential strategies which lead to efficient optimization of an unknown function under the only assumption that it has finite Lipschitz constant. We introduce and analyze two strategies which aim at optimizing any function with fixed and unknown Lipschitz constant. Consistency and minimax rates for these algorithms are proved, as well as fast rates under an additional Hölder like condition. In a second part, we propose to explore concepts from ranking theory based on overlaying level sets in order to develop optimization methods that do not rely on the smoothness of the function. We observe that the optimization of the function essentially relies on learning the bipartite rule it induces. Based on this idea, we relate global optimization to bipartite ranking which allows to address the cases of functions with weak regularity properties. Novel meta algorithms for global optimization which rely on the choice of any bipartite ranking method are introduced and theoretical properties are provided in terms of statistical consistency and finite-time convergence toward the optimum. Eventually, the algorithms developed in the thesis are compared to existing state-of-the-art methods over typical benchmark problems for global optimization.