Algorithmes d'optimisation structurés pour l'entraînement de réseaux de neurones profonds

par Camille Castera

Projet de thèse en Mathematiques

Sous la direction de Cedric Fevotte.

Thèses en préparation à Toulouse, INPT , dans le cadre de Mathématiques, Informatique, Télécommunications de Toulouse , en partenariat avec Institut de Recherche en Informatique de Toulouse (equipe de recherche) depuis le 25-10-2018 .


  • Résumé

    Très populaires ces dernières années, les méthodes d'apprentissage de type réseaux de neurones sont basées sur l'optimisation de fonctions de pertes possiblement non convexes et non lisses. Pourtant, dans de nombreux cas, les approches convexes (variantes de la descente de gradient) semblent fournir des résultats convenables. Le but de cette thèse est de comprendre la performance de ces méthodes, ainsi que de proposer de nouveaux algorithmes pour le deep-learning.

  • Titre traduit

    Algorithms and optimization theory for training deep neural networks


  • Résumé

    In machine learning, the very popular neural network methods consist on minimizing a loss function that is possibly non convex and non smooth? However, in many cases, convex methods (such as stochastic gradient descent) perform provide good results. Therefore, we aim at understanding the performance of these methods as well as introducing new algorithm for deep-learning.