Inférence et prédiction de représentations dynamiques pour les données temporelles structurées

Inferring and Predicting Dynamic Representations for Structured Temporal Data

• Auteur / Autrice : Edouard Delasalles
• Direction : Ludovic Denoyer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 30/06/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Ahlame Douzal-Chouakria
• Jury : Examinateurs / Examinatrices : Patrick Gallinari, Sylvain Lamprier
• Jury : Rapporteurs / Rapporteuses : Alexandre Allauzen, Thierry Artières
• DOI : 10.70675/9b61348az1dfdz4dbcz8691zb4335bbe9d7c

Mots clés

Mots clés contrôlés

Apprentissage automatique

Apprentissage profond

Variables latentes

Prédiction (logique)

Mots clés libres

Apprentissage statistique

Apprentissage profond

Spatio-temporel

Variables latentes

Prédiction

Imputation

Deep learning

Spatio-temporal

Prediction

Résumé

Les données temporelles constituent une partie importante des données digitales. Prévoir leurs prochaines valeurs est une tâche importante et difficile. Les méthodes statistiques standard sont fondées sur des modèles linéaires souvent limitées aux données de faible dimension. Ici, nous utilisons plutôt des méthodes d'apprentissage profond capables de traiter des données structurées en haute dimension. Dans cette thèse, nous nous intéressons aux modèles à variables latentes. Contrairement aux modèles auto-régressifs qui utilisent directement des données passées pour effectuer des prédictions, les modèles latents infèrent des représentations vectorielles qui sont ensuite prédites. Nous proposons d'abord un modèle latent structuré pour la prévision de données spatio-temporelles. Des variables latentes sont inférés à partir d'un ensemble de points dans l'espace où des données sont collectées (météo, trafic). Ensuite, la structure spatiale est utilisée dans la fonction dynamique. Le modèle est également capable de découvrir des corrélations entre des séries sans information spatiale préalable. Ensuite, nous nous intéressons à la prédiction des distributions de données. Nous proposons un modèle qui génère des variables latentes utilisées pour conditionner un modèle génératif. Les données textuelles sont utilisées pour évaluer le modèle sur la modélisation diachronique du langage. Enfin, nous proposons un modèle de prédiction stochastique. Il utilise les premières valeurs des séquences pour générer plusieurs futurs possibles. Ici, le modèle génératif n'est pas conditionné à une époque absolue, mais à une séquence. Le modèle est appliqué à la prédiction vidéo stochastique.

Temporal data constitute a large part of data collected digitally. Predicting their next values is an important and challenging task in domains such as climatology, optimal control, or natural language processing. Standard statistical methods are based on linear models and are often limited to low dimensional data. We instead use deep learning methods capable of handling high dimensional structured data and leverage large quantities of examples. In this thesis, we are interested in latent variable models. Contrary to autoregressive models that directly use past data to perform prediction, latent models infer low dimensional vectorial representations of data on which prediction is performed. Latent vectorial spaces allow us to learn dynamic models that are able to generate high-dimensional and structured data. First, we propose a structured latent model for spatio-temporal data forecasting. Given a set of spatial locations where data such as weather or traffic are collected, we infer latent variables for each location and use spatial structure in the dynamic function. The model is also able to discover correlations between series without prior spatial information. Next, we focus on predicting data distributions, rather than point estimates. We propose a model that generates latent variables used to condition a generative model. Text data are used to evaluate the model on diachronic language modeling. Finally, we propose a stochastic prediction model. It uses the first values of sequences to generate several possible futures. Here, the generative model is not conditioned to an absolute epoch, but to a sequence. The model is applied to stochastic video prediction.