Modèles et algorithmes d’apprentissage profond pour de la donnée séquentielle : applications aux modèles de langage et à la quantification d’incertitude

Deep learning models and algorithms for sequential data problems : applications to language modelling and uncertainty quantification

• Auteur / Autrice : Alice Martin
• Direction : Sylvain Le Corff
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 14/06/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom SudParis (France)
• Partenaire(s) de recherche : Laboratoire : Institut polytechnique de Paris (2019-....) - Communications, Images et Traitement de l'Information / CITI - Traitement de l'Information Pour Images et Communications / TIPIC-SAMOVAR
• Jury : Président / Présidente : François Desbouvries
• Jury : Examinateurs / Examinatrices : Pierre Pudlo, François Septier, Laure Soulier, Olivier Pietquin
• Jury : Rapporteurs / Rapporteuses : Pierre Pudlo, François Septier

Mots clés

Mots clés contrôlés

Traitement automatique du langage naturel

Algorithmes

Monte-Carlo, Méthode de

Intelligence artificielle

Mots clés libres

Modèles génératifs profonds

Méthodes de Monte Carlo séquentielles

Lissage en ligne

Modèles de langage

Apprentissage par renforcement

Quantification d'incertitude

Algorithme

Deep generative models

Sequential Monte Carlo

Online smoothing

Language models

Reinforcement learning

Uncertainty quantification

Algorithm

Résumé

Dans ce manuscrit de thèse, nous développons de nouveaux algorithmes et modèles pour résoudre les problèmes d'apprentissage profond sur de la donnée séquentielle, en partant des problématiques posées par l'apprentissage des modèles de langage basés sur des réseaux de neurones. Un premier axe de recherche développe de nouveaux modèles génératifs profonds basés sur des méthodes de Monte Carlo Séquentielles (SMC), qui permettent de mieux modéliser la diversité du langage, ou de mieux quantifier l'incertitude pour des problèmes de régression séquentiels. Un deuxième axe de recherche vise à faciliter l'utilisation de techniques de SMC dans le cadre de l'apprentissage profond, en développant un nouvel algorithme de lissage à coût computationnel largement réduit, et qui s'applique à un scope plus large de modèles à espace d'états, notamment aux modèles génératifs profonds. Finalement, un troisième axe de recherche propose le premier algorithme d'apprentissage par renforcement permettant d'apprendre des modèles de langage conditionnels "ex-nihilo" (i.e sans jeu de données supervisé), basé sur un mécanisme de troncation de l'espace d'actions par un modèle de langage pré-entrainé.

In this thesis, we develop new models and algorithms to solve deep learning tasks on sequential data problems, with the perspective of tackling the pitfalls of current approaches for learning language models based on neural networks. A first research work develops a new deep generative model for sequential data based on Sequential Monte Carlo Methods, that enables to better model diversity in language modelling tasks, and better quantify uncertainty in sequential regression problems. A second research work aims to facilitate the use of SMC techniques within deep learning architectures, by developing a new online smoothing algorithm with reduced computational cost, and applicable on a wider scope of state-space models, including deep generative models. Finally, a third research work proposes the first reinforcement learning that enables to learn conditional language models from scratch (i.e without supervised datasets), based on a truncation mechanism of the natural language action space with a pretrained language model.