Contributions à AutoML : optimisation des hyper-paramètres et méta-apprentissage

Some contributions to AutoML : hyper-parameter optimization and meta-learning

• Auteur / Autrice : Herilalaina Rakotoarison
• Direction : Marc Schoenauer, Michèle Sebag
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/06/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....) - Institut national de recherche en informatique et en automatique (France). Unité de recherche (Saclay, Ile-de-France)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Nicolas Courty
• Jury : Examinateurs / Examinatrices : Frédéric Saubion, Frank Hutter, Rémi Bardenet, Joaquin Vanschoren
• Jury : Rapporteurs / Rapporteuses : Frédéric Saubion, Frank Hutter
• DOI : 10.70675/bc89c0f9z7989z4859z9569z0210c3ba966c

Mots clés

Mots clés contrôlés

Apprentissage automatique

Systèmes de recommandation (informatique)

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

AutoML

Sélection des modèles

Optimisation d’hyper-paramètre

Méta-apprentissage

AutoML

Model selection

Hyper-parameter tuning

Meta-learning

Résumé

Cette thèse présente trois principales contributions afin d’améliorer l’état de l’art de ces approches AutoML. Elles sont divisées entre deux thèmes de recherche: l’optimisation et meta-apprentissage. La première contribution concerne un algorithme d’optimisation hybride, appelé Mosaic, qui exploite les méthodes MCTS et optimisation bayésienne pour résoudre respectivement la sélection des algorithmes et la configuration des hyperparamètres. L’évaluation, conduite à travers le benchmark OpenML 100, montre que la performance empirique de Mosaic surpasse ceux des systèmes d’AutoML de l’état de l’art (Auto-Sklearn et TPOT). La deuxième contribution introduit une architecture de réseau neuronal, appelée Dida, qui permet d’apprendre des descripteurs de données invariants à la permutation de colonnes et d’exemples. Deux tâches (classification des patchs et prédiction des performances sont considérées lors de l’évaluation de la méthode. Les résultats de Dida sont encourageants comparés à ceux de ses concurrents (Dataset2 vvec et DSS). Enfin, la troisième contribution, intitulée Metabu, vise à surmonter les limites de Dida à opérer sur de vrais jeux de données d’AutoML. La stratégie de Metabu comporte deux étapes. Tout d’abord, une topologie idéale de ces jeux de données, basée sur les meilleurs hyperparamètres, est définie. Puis, une transformation linéaire d es descripteurs manuels est apprise pour les aligner, selon un critère de transport optimal, avec la représentation idéale. Les comparaisons empiriques montrent que les descripteurs Metabu sont plus performants que les descripteurs manuels sur trois problèmes différents (évaluation du voisinage des jeux de données, recommandation d’hyperparamètres, et initialisation d’un algorithme d’optimisation).

This thesis proposes three main contributions to advance the state-of-the-art of AutoML approaches. They are divided into two research directions: optimization (first contribution) and meta-learning (second and third contributions). The first contribution is a hybrid optimization algorithm, dubbed Mosaic, leveraging Monte-Carlo Tree Search and Bayesian Optimization to address the selection of algorithms and the tuning of hyper-parameters, respectively. The empirical assessment of the proposed approach shows its merits compared to Auto-sklearn and TPOT AutoML systems on OpenML 100. The second contribution introduces a novel neural network architecture, termed Dida, to learn a good representation of datasets (i.e., metafeatures) from scratch while enforcing invariances w.r.t features and rows permutations. Two proofof-concept tasks (patch classification and performance prediction tasks) are considered. The proposed approach yields superior empirical performance compared to Dataset2Vec and DSS on both tasks. The third contribution addresses the limitation of Dida on handling standard dataset benchmarks. The proposed approach, called Metabu, relies on hand-crafted meta-features. The novelty of Metabu is two-fold: i) defining an ''oracle'' topology of datasets based on top-performing hyper-parameters; ii) leveraging Optimal Transport approach to align a mapping of the handcrafted meta-features with the oracle topology. The empirical results suggest that Metabu metafeature outperforms the baseline hand-cr afted meta-features on three different tasks (assessing meta-features based topology, recommending hyper-parameters w.r.t topology, and warmstarting optimization algorithms).