Auteur / Autrice : | Kilian Fatras |
Direction : | Nicolas Courty, Rémi Flamary |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique |
Date : | Soutenance le 25/11/2021 |
Etablissement(s) : | Lorient |
Ecole(s) doctorale(s) : | École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) |
Partenaire(s) de recherche : | Equipe de recherche : Institut de recherche en informatique et systèmes aléatoires (Rennes) |
Laboratoire : Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA | |
Jury : | Président / Présidente : Michèle Sebag |
Examinateurs / Examinatrices : Rémi Flamary, Adam M. Oberman, Laetitia Chapel | |
Rapporteurs / Rapporteuses : Marco Cuturi, Christian Wolf |
Mots clés
Mots clés libres
Résumé
Les modèles d'apprentissage profond sont des réseaux de neurones artificiels et sont très compétitifs dans le cadre de problèmes décisionnels. En classification, ces réseaux permettent par exemple une représentation plus complexe des données et donc des décisions plus pertinentes elles aussi. Cependant, l'essor des réseaux de neurones est aussi lié au développement de plusieurs champs des mathématiques : cette thèse porte sur l'interaction des réseaux de neurones avec l'un de ces champs appelé Transport Optimal (TO). Le TO est en particulier adapté à la mesure de distance entre distributions de probabilité, en calculant le coût minimal pour déplacer une distribution vers une autre. Sa force consiste en l'utilisation de la géométrie des espaces de probabilité à travers différentes fonctions de coût possibles. Plusieurs modèles d'apprentissage profond se basent sur le TO. Cette thèse explore les deux faces de l'interaction entre transport optimal et apprentissage profond. D'abord, nous travaillerons sur comment le TO peut définir des fonctions de coût pertinentes pour les réseaux de neurones. Nous nous concentrerons sur la définition d'une régularisation basée sur le TO pour l'apprentissage en présence de labels corrompus et sur l'utilisation du TO pour la génération de données mal classifiées pour un réseau pré-entrainé. Nous étudierons ensuite le TO au travers de son utilisation dans l'apprentissage profond avec un focus particulier sur l'utilisation de sous lots. Nous analyserons alors les gains et pertes tant théoriques que pratiques de cette méthode.