Application de méthodes d’apprentissage pour l’optimisation numérique.

par Louis Faury

Projet de thèse en Mathématiques appliquées

Sous la direction de Olivier Fercoq.

Thèses en préparation à l'Institut polytechnique de Paris , dans le cadre de École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....) , en partenariat avec LTCI - Laboratoire de Traitement et Communication de l'Information (laboratoire) , S2A - Statistique et Apprentissage (equipe de recherche) et de Télécom Paris (Palaiseau) (établissement de préparation de la thèse) depuis le 01-09-2018 .


  • Résumé

    Pour cette thèse, nous souhaitons nous intéresser à l’utilisation et au développement de méthodes d’apprentissage automatique appliquée pour l’optimisation numérique. Si l’optimisation d’objectifs con- vexes est depuis longtemps l’objet de nombreux développements algorithmiques, le succès des réseaux de neurones artificielles en apprentissage automatique pousse à la conception de nouveaux algorithmes pour l’optimisation globale d’objectifs non-convexes. Nous souhaitons étudier le renversement du paradigme actuel, qui consiste à appliquer des algorithmes d’optimisation convexe stochastique pour l’apprentissage de modèles complexes et souvent non-convexes. Ainsi, nous souhaitons étudier la possibilité d’apprendre de nouvelles méthodes d’apprentissage, via des techniques récentes d’apprentissage automatique, comme l’apprentissage profond par renforcement. Ainsi, nous pouvons espérer réduire le goulot d’étranglement que constitue le choix d’un algorithme d’optimisation lors du déploiement d’un modèle appris automa- tiquement, en développant des méthodes robustes, et libres d’hyper-paramètres.

  • Titre traduit

    Machine learning methods for numerical optimization.


  • Résumé

    For this thesis, we wish to study the development of machine learning methods for numerical optimization. If convex optimization has long been at the heart of theoretical studies which led to the development of numerous principled convex optimization algorithms, the advent of deep neural networks in various machine learning fields is pushing for the conception of new algorithms, aiming at global optimization of non-convex objectives. We wish to reverse the current machine learning paradigm, consisting in a tedious selection of numerical optimization methods, designed for convex functions and often applied to non-convex objectives nevertheless. We wish to do that by learning numerical optimization algorithms, using recent techniques like deep reinforcement learning. Henceforth, we wish to reduce the bottleneck created by the need for hyper-parameters for most non-adaptive methods, by learning adaptive optimizers from data aiming at global non-convex optimization.