Optimisation en ligne et minimax avec leurs applications dans l'apprentissage automatique

par Yu-guan Hsieh

Projet de thèse en Mathématiques et Informatique

Sous la direction de Jerome Malick et de Panayotis Mertikopoulos.


  • Résumé

    L'optimisation est sans doute l'un des éléments les plus importants dans les systèmes d'apprentissage automatique actuels. Les idées émergentes issues de l'apprentissage automatique, à leur tour, remettent l'accent sur plusieurs cadres d'optimisation établis et engendent de nouveaux défis qui ne peuvent être résolus par les solutions existantes. La croissance exponentielle du flot de données générées exige des algorithmes à grande échelle plus efficaces, ce qui suscite un regain d'intérêt pour l'optimisation distribuée, stochastique et en ligne. De l'autre côté, de nombreux problèmes en apprentissage automatique (ex. GANs, apprentissage antagoniste…) impliquent plusieurs agents cherchant un équilibre. Ceci révèle la nécessité d'aller au-delà de la minimisation. Cette thèse sera particulièrement axée sur l'optimisation minimax et l'apprentissage en ligne dans un environnement distribué. Le doctorant a déjà apporté une première contribution sur l'unification de l'analyse des algorithmes “single-call extra-gradient” stochastiques conçues pour les problèmes d'inégalité variationnelle, ainsi qu'un second travail sur la stabilisation par double pas de l'algorithme d'extra-gradient stochastique. Le candidat va poursuivre dans cette direction, en s'attaquant à plusieurs aspects complémentaires : (i) l'interaction entre la sous-régularité métrique et la convergence de l'algorithme, (ii) la généralisation aux divergences de Bregman pour couvrir de nouvelles applications et (iii) les problèmes minimax avec les paysages non-monotones. En parallèle, les algorithmes d'apprentissage en ligne seront également étudiés, avec un intérêt particulier pour le scénario multi-agents.

  • Titre traduit

    Online and minimax optimization with their applications in machine learning


  • Résumé

    Optimization is, without doubt, one of the most important founding blocks of today's machine learning systems. Emerging ideas from machine learning, in turn, renew emphasis on several established optimization frameworks and give rise to new challenges that cannot be solved by existing solutions. The exponentially growing volume of data available for learning systems calls for more efficient large scale algorithms, which gives a resurgence of interest in distributed, stochastic, and online optimization. On the other hand, the appearance of new learning paradigms such as GANs and adversarial learning which involve multiple agents searching for equilibrium reveals the need for “optimization beyond minimization”. This PHD thesis will be particularly focused on minimax optimization and online learning in a distributed environment. The PHD has previously brought a first contribution in giving a unified analysis of stochastic “single-call extra-gradient” methods designed for variational inequality problems, and a second work in stabilizing extra-gradient under stochasticity by using a double stepsize policy. The candidate will continue in this direction, with several complementary aspects: (i) the interplay between metric subregularity and the performance of the algorithm, (ii) the generalization to Bregman divergence to cover new applications and (iii) minimax problems with non-monotone landscapes. In parallel, online learning algorithms will also be studied, with a specific interest in the multi-agent scenario.