Contributions à AutoML: optimisation des hyper-paramètres et méta-apprentissage

par Herilalaina Rakotoarison

Projet de thèse en Informatique

Sous la direction de Marc Schoenauer.

Thèses en préparation à université Paris-Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication , en partenariat avec Laboratoire Interdisciplinaire des Sciences du Numérique (laboratoire) , A&O - Apprentissage et Optimisation (equipe de recherche) , Faculté des sciences d'Orsay (référent) et de Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....) (graduate school) depuis le 01-11-2017 .


  • Résumé

    Malgré les succès des algorithmes d'apprentissage statistique à résoudre de nombreuses tâches complexes, le choix et la configuration de ces modèles restent un problème difficile en pratique. Cette nécessité de choix et configuration s'élargit à toutes les étapes du traitement allant du nettoyage des données à l'entraînement de modèle. L'approche AutoML (Automated Machine Learning) a suscité énormément d'intérêt dans la communauté de recherche durant les dernières décennies afin de surmonter ce problème. Cette thèse présente trois principales contributions afin d'améliorer l'état de l'art de ces approches AutoML. Elles sont divisées entre deux thèmes de recherche: l'optimisation (première contribution) et meta-apprentissage (deuxième et troisième contributions). La première contribution concerne un algorithme d'optimisation hybride, appelé Mosaic, qui exploite les méthodes MCTS et optimisation bayésienne pour résoudre respectivement la sélection des algorithmes et la configuration des hyperparamètres. L'évaluation, conduite à travers le benchmark OpenML 100, montre que la performance empirique de Mosaic surpasse ceux des systèmes d'AutoML de l'état de l'art (Auto-Sklearn et TPOT). La deuxième contribution introduit une architecture de réseau neuronal, appelée Dida, qui permet d'apprendre des descripteurs de données invariants à la permutation de colonnes et d'exemples. Deux tâches (classification des patchs et prédiction des performances) sont considérées lors de l'évaluation de la méthode. Les résultats de Dida sont encourageants comparés à ceux de ses concurrents (Dataset2 vvec et DSS). Enfin, la troisième contribution, intitulée Metabu, vise à surmonter les limites de Dida à opérer sur de vrais jeux de données d'AutoML. La stratégie de Metabu comporte deux étapes. Tout d'abord, une topologie idéale de ces jeux de données, basée sur les meilleurs hyperparamètres, est définie. Puis, une transformation linéaire d es descripteurs manuels est apprise pour les aligner, selon un critère de transport optimal, avec la représentation idéale. Les comparaisons empiriques montrent que les descripteurs Metabu sont plus performants que les descripteurs manuels sur trois problèmes différents (évaluation du voisinage des jeux de données, recommandation d'hyperparamètres, et initialisation d'un algorithme d'optimisation).

  • Titre traduit

    Some contributions to AutoML: Hyper-parameter Optimization and Meta-learning


  • Résumé

    Despite the recent success of Machine Learning (ML) in solving many complex tasks, significant difficulty arises in practice for setting up ML pipelines. An ML pipeline includes all processing steps, from data pre-processing to the setting of hyper-parameters. Over the last decades, the Automated Machine Learning (AutoML) approach has gained tremendous interest in the research community to overcome this difficulty. This thesis proposes three main contributions to advance the state-of-the-art of AutoML approaches. They are divided into two research directions: optimization (first contribution) and meta-learning (second and third contributions). The first contribution is a hybrid optimization algorithm, dubbed Mosaic, leveraging Monte-Carlo Tree Search and Bayesian Optimization to address the selection of algorithms and the tuning of hyper-parameters, respectively. The empirical assessment of the proposed approach shows its merits compar ed to Auto-sklearn and TPOT AutoML systems on OpenML 100. The second contribution introduces a novel neural network architecture, termed Dida, to learn a good representation of datasets (i.e., meta-features) from scratch while enforcing invariances w.r.t features and rows permutations. Two proof-of-concept tasks (patch classification and performance prediction tasks) are considered. The proposed approach yields superior empirical performance compared to Dataset2Vec and DSS on both tasks. The third contribution addresses the limitation of Dida on handling standard dataset benchmarks. The proposed approach, called Metabu, relies on hand-crafted meta-features. The novelty of Metabu is two-fold: i) defining an "oracle" topology of datasets based on top-performing hyper-parameters; ii) leveraging Optimal Transport approach to align a mapping of the hand-crafted meta-features with the oracle topology. The empirical results suggest that Metabu meta-feature outperforms the baseline hand-cr afted meta-features on three different tasks (assessing meta-features based topology, recommending hyper-parameters w.r.t topology, and warm-starting optimization algorithms).