Théorie des matrices aléatoires pour l'analyse des réseaux de neurones

par Cosme Louart

Projet de thèse en Signal image parole telecoms

Sous la direction de Romain Couillet et de Mohamed Tamaazousti.

Thèses en préparation à Grenoble Alpes , dans le cadre de École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble) , en partenariat avec CEA (hors LETI et LITEN) (laboratoire) depuis le 01-10-2018 .


  • Résumé

    Le but du projet est de développer une compréhension des réseaux neuronaux à l'aide d'un formalisme tiré de la théorie des matrices aléatoires et en se basant sur des hypothèses de concentration de la mesure pour les données. On cherchera entre autre à comprendre les GAN (réseaux antagonistes génératifs), les RBM (machines de Boltzman restreintes) et plus généralement à modéliser l'algorithme de backpropagation, sa version aléatoire et sa dépendance au temps pendant la procédure d'apprentissage pour des architectures profonde (deep neural networks). Il serait intéressant de chercher les propriétés optimales des matrices aléatoires impliquées en terme de rang et de spectre asymptotique. Les découvertes seront continuellement confrontées à l'expérience sous python sur des taches facilement reproductibles.

  • Titre traduit

    Random matrix theory for the study of neural networks


  • Résumé

    The project will consist in the development of the random matrix framework to address the question of realistic neural network structures (notably involving convolutional layers rather than fully connected ones) based on an hypothesis of the concentration of the measure hypothesis for the data. We will look forward to understanding better GANs (generative adversarial networks), RBMs (restricted Boltzman machines) along with the challenging impact of the standard backpropagation algorithm and its random version. In details, it would be interesting to explore the optimal properties of the random matrices involved in terms of rank, spectrum asymptotic and the underlying random matrix ensembles and also to explore the time dependence of this matrix during the learning process. Since it is mandatory to keep a close proximity to practice, the expected findings will be systematically confronted to practical implementations of actual neural networks under Python in tractable tasks.