Modélisation fovéale, autorégressive et neuronale de séries temporelles

Foveal autoregressive neural time-series modeling

• Auteur / Autrice : Mathieu Andreux
• Direction : Stéphane Mallat
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/11/2018
• Etablissement(s) : Paris Sciences et Lettres (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : Établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Emmanuel Dupoux
• Jury : Examinateurs / Examinatrices : Stéphane Mallat, Emmanuel Dupoux, Bruno Torrésani, Emmanuel Vincent, Mathieu Lagrange, Gilles Wainrib
• Jury : Rapporteurs / Rapporteuses : Bruno Torrésani, Emmanuel Vincent

Mots clés

Mots clés contrôlés

Informatique

Mots clés libres

Séries temporelles

Scattering

Réseaux de neurones profonds

Audio

Prédiction

Synthèse

Time-Series

Scattering

Deep learning

Audio

Prediction

Synthesis

Résumé

Cette thèse s'intéresse à la modélisation non-supervisée de séries temporelles univariées. Nous abordons tout d'abord le problème de prédiction linéaire des valeurs futures séries temporelles gaussiennes sous hypothèse de longues dépendances, qui nécessitent de tenir compte d'un large passé. Nous introduisons une famille d'ondelettes fovéales et causales qui projettent les valeurs passées sur un sous-espace adapté au problème, réduisant ainsi la variance des estimateurs associés. Dans un deuxième temps, nous cherchons sous quelles conditions les prédicteurs non-linéaires sont plus performants que les méthodes linéaires. Les séries temporelles admettant une représentation parcimonieuse en temps-fréquence, comme celles issues de l'audio, réunissent ces conditions, et nous proposons un algorithme de prédiction utilisant une telle représentation. Le dernier problème que nous étudions est la synthèse de signaux audios. Nous proposons une nouvelle méthode de génération reposant sur un réseau de neurones convolutionnel profond, avec une architecture encodeur-décodeur, qui permet de synthétiser de nouveaux signaux réalistes. Contrairement à l'état de l'art, nous exploitons explicitement les propriétés temps-fréquence des sons pour définir un encodeur avec la transformée en scattering, tandis que le décodeur est entraîné pour résoudre un problème inverse dans une métrique adaptée.

This dissertation studies unsupervised time-series modelling. We first focus on the problem of linearly predicting future values of a time-series under the assumption of long-range dependencies, which requires to take into account a large past. We introduce a family of causal and foveal wavelets which project past values on a subspace which is adapted to the problem, thereby reducing the variance of the associated estimators. We then investigate under which conditions non-linear predictors exhibit better performances than linear ones. Time-series which admit a sparse time-frequency representation, such as audio ones, satisfy those requirements, and we propose a prediction algorithm using such a representation. The last problem we tackle is audio time-series synthesis. We propose a new generation method relying on a deep convolutional neural network, with an encoder-decoder architecture, which allows to synthesize new realistic signals. Contrary to state-of-the-art methods, we explicitly use time-frequency properties of sounds to define an encoder with the scattering transform, while the decoder is trained to solve an inverse problem in an adapted metric.