Real-parameter black-box optimisation : benchmarking and designing algorithms

• Auteur / Autrice : Raymond Ros
• Direction : Michèle Sebag, Nikolaus Hansen
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2009
• Etablissement(s) : Paris 11
• Partenaire(s) de recherche : autre partenaire : Université de Paris-Sud. Faculté des sciences d'Orsay (Essonne)

Mots clés

Mots clés contrôlés

Algorithmes

Mots clés libres

Optimisation continue

Banc d'essai

Comparaison empirique

Algorithmes évolutionnaires

Mesures de performance

Logiciel

Résumé

Un problème d'optimisation continue peut se définir ainsi : étant donné une fonction objectif de R à la puissance n dans R, chercher un vecteur de dimension n qui minimise la fonction jusqu'à une précision arbitraire. Dans ce contexte, le scénario boîte noire (Black-Box) fait l'hypothèse que seule l'évaluation de la fonction est disponible pour guider son optimisation. Dans un premier temps, nous étudions le Covariance Matrix Adaptation-Evolution Strategy (CMA-ES) qui est un algorithme reconnu de Black-Box Optimisation (BBO). Nous montrons ses limites en terme de complexité spatio-temporelles pour les problèmes à haute dimensionalité. Pour passer outre ces limites, nous proposons des variantes de CMA-ES ne mettant à jour que des blocs diagonaux de la matrice de covariance et exploitant la séparabilité du problème. Même sur des fonctions non-séparables, ces variantes démontrent de meilleures performances que le CMA-ES si la dimension du problème est grande. Dans un second temps, nous définissons et exploitons le cadre expérimental BBO Benchmarking (BBOB) dans lequel il est possible de comparer des algorithmes sur des fonctions. Nos résultats montrent une dépendance avec le budget (nombre d'évaluations de la fonction) alloué à l'optimisation. Des méthodes comme NEWUOA ou BFGS sont plus appropriées pour les budgets réduits alors qu'une approche CMA-ES avec redémarrage et gestion de la taille de la population montre de bons résultats pour un budget plus conséquent. Le logiciel COmparing Continuous Optimisers (COCO) utilisé pour BBOB est décrit en détail en dernier lieu. COCO implémente notre procédure expérimentale et génère les résultats exploités dans ce manuscrit.

Ln continuous optimisation a given problem can be stated as follows: given the objective function from R to the n to R with n the dimension of the problem, find a suitable vector that minimises f up to an arbitrary numerical precision. Ln this context, the black-box scenario assumes that no information but the evaluation of f is available to guide its optimisation. Ln the first part, we study the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) which is a well-established stochastic approach for solving Black-Box Optimisation (BBO) problems. We show its time and space complexity limits when addressing high-dimensional BBO problems. To overcome such limits, we provide variants of the CMA-ES that update only block-diagonal elements of the covariance matrix, and exploit the separability of the problem. We show that on non-separable functions these variants can outperform the standard CMA-ES, given that the dimension of the problem is large enough. Ln the second part, we define and exploit an experimental framework BBO Benchmarking (BBOB) in which practitioners of BBO can test and compare algorithms on function testbeds. Results show dependencies on the budget (number of function evaluations) assigned to the optimisation of the objective function. Some methods such as NEWUOA or BFGS are more appropriate for small budgets. The CMA-ES approach using restarts and a population size management policy performs weil for larger budgets. The COmparing Continuous Optimisers (COCO) software, used for the BBOB, is described technically in the third part. COCO implements our experimental framework as weil as outputs the results that we have been exploiting.