Apprentissage de structure pour les réseaux de neurones

par Pierre Wolinski

Projet de thèse en Mathématiques et Informatique

Sous la direction de Guillaume Charpiat et de Yann Ollivier.

Thèses en préparation à Paris Saclay , dans le cadre de Sciences et Technologies de l'Information et de la Communication , en partenariat avec Centre INRIA Saclay - Île-de-France (laboratoire) , TAU - TAckling the Underspeficied (equipe de recherche) et de Université Paris-Sud (établissement de préparation de la thèse) depuis le 01-10-2016 .


  • Résumé

    Une part imposante du temps consacré au développement de réseaux de neurones est aujourd'hui consommée dans la recherche empirique des architectures optimales. Celle-ci nécessite d'importants moyens, aussi bien humains (experts du domaine) que matériels (puissance de calcul), et n'explique pas pourquoi une structure de réseau de neurones est meilleure qu'une autre. L'apprentissage de structure pour les réseaux de neurones est donc un enjeu à la fois technique et scientifique. Le problème sera abordé des points de vue de la statistique et de la théorie de l'information. À leur interface, le principe de longueur de description minimale (MDL) et l'inférence variationnelle fourniront les outils nécessaires à l'étude, l'apprentissage et la sélection de ces structures.

  • Titre traduit

    Structural learning of neural networks


  • Résumé

    Nowadays, most of time used to develop neural networks is consumed to look for optimal architectures. It needs important means : experts in neural networks and computer clusters, and doesn't explain why some structures are better than other. Thus, structural learning of neural networks is both a technical issue and a scientific issue. We tackle this problem with statistics and information theory : at their interface, the Minimum Description Length (MDL) principle and variational inference give elements to study, learn and select these structures.