Thèse soutenue

Apprentissage profond et transport optimal : apprendre l'un de l'autre
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Kilian Fatras
Direction : Nicolas CourtyRémi Flamary
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 25/11/2021
Etablissement(s) : Lorient
Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
Partenaire(s) de recherche : Equipe de recherche : Institut de recherche en informatique et systèmes aléatoires (Rennes)
Laboratoire : Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA
Jury : Président / Présidente : Michèle Sebag
Examinateurs / Examinatrices : Rémi Flamary, Adam M. Oberman, Laetitia Chapel
Rapporteurs / Rapporteuses : Marco Cuturi, Christian Wolf

Mots clés

FR  |  
EN

Résumé

FR  |  
EN

Les modèles d'apprentissage profond sont des réseaux de neurones artificiels et sont très compétitifs dans le cadre de problèmes décisionnels. En classification, ces réseaux permettent par exemple une représentation plus complexe des données et donc des décisions plus pertinentes elles aussi. Cependant, l'essor des réseaux de neurones est aussi lié au développement de plusieurs champs des mathématiques : cette thèse porte sur l'interaction des réseaux de neurones avec l'un de ces champs appelé Transport Optimal (TO). Le TO est en particulier adapté à la mesure de distance entre distributions de probabilité, en calculant le coût minimal pour déplacer une distribution vers une autre. Sa force consiste en l'utilisation de la géométrie des espaces de probabilité à travers différentes fonctions de coût possibles. Plusieurs modèles d'apprentissage profond se basent sur le TO. Cette thèse explore les deux faces de l'interaction entre transport optimal et apprentissage profond. D'abord, nous travaillerons sur comment le TO peut définir des fonctions de coût pertinentes pour les réseaux de neurones. Nous nous concentrerons sur la définition d'une régularisation basée sur le TO pour l'apprentissage en présence de labels corrompus et sur l'utilisation du TO pour la génération de données mal classifiées pour un réseau pré-entrainé. Nous étudierons ensuite le TO au travers de son utilisation dans l'apprentissage profond avec un focus particulier sur l'utilisation de sous lots. Nous analyserons alors les gains et pertes tant théoriques que pratiques de cette méthode.