Auto-Encodeurs Variationnels Dynamiques pour le Traitement Multimédia

Dynamical Variational Autoencoders for Multimedia Processing

• Auteur / Autrice : Xiaoyu Bie
• Direction : Laurent Girin, Xavier Alameda-Pineda
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, paroles, télécoms
• Date : Soutenance le 20/10/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France ; 1979-....). Centre de recherche de l'université Grenoble Alpes (1992-....)
• Jury : Président / Présidente : François Portet
• Jury : Examinateurs / Examinatrices : Yingzhen Li, Antoine Deleforge
• Jury : Rapporteurs / Rapporteuses : Roland Badeau, Yu Tsao

Mots clés

Mots clés contrôlés

Multimédias

Traitement automatique du langage naturel

Apprentissage profond

Mots clés libres

Apprentissage profond

Dynamical variational autoencoder

Modèles probabilistes hybrides

Traitement du signal de parole

Deep learning

Hybrid probabilistic model

Dynamical variational autoencoder

Speech processing

Résumé

Le domaine de la modélisation des données séquentielles, telles que les signaux de parole, a connu des progrès remarquables grâce aux récents développements dans l'apprentissage profond. Parmi la myriade d'approches, les modèles génératifs profonds, en particulier ceux ayant des définitions explicites de fonctions de densité de probabilité comme les Variational AutoEncoders (VAEs), ont attiré une attention significative en raison de leurs avantages uniques dans trois domaines cruciaux. Premièrement, ils opèrent dans un cadre d'apprentissage non supervisé, éliminant ainsi le besoin d'étiquetage intensif en main-d'œuvre. Deuxièmement, ils acquièrent des représentations latentes expressives, ce qui leur permet d'être utilisés dans une large gamme de tâches ultérieures. Enfin, ces modèles sont probabilistes par nature, ce qui les rend facilement intégrables dans les algorithmes existants basés sur un cadre de modélisation bayésienne. Néanmoins, le VAE vanille d'origine traite chaque vecteur de données indépendamment en raison de l'hypothèse d'indépendance et d'identiquement distribuée (i.i.d.). Cette approche est sous-optimale pour modéliser avec précision les séquences corrélées (temporelles). Par conséquent, trouver une adaptation appropriée du VAE vanille à la modélisation de données séquentielles reste un défi passionnant.Dans cette thèse, nous apportons les contributions suivantes : 1) nous passons en revue en détail les avancées récentes dans l'extension du modèle VAE pour prendre en compte les données séquentielles et les regroupons dans une classe générale de modèles appelés dynamical VAEs (DVAEs), en fournissant une définition générale de leurs modèles génératifs et d'inférence, ainsi que de l'objectif d'optimisation ; (FTML'21) 2) nous réalisons une étude quantitative comparative des modèles DVAE existants pour évaluer leurs performances dans la modélisation de données séquentielles avec différentes architectures (FTML'21, Interspeech'21) ; 3) nous proposons un nouveau modèle DVAE qui intègre un espace latent hiérarchique et exploite l'architecture Transformer pour la modélisation de séquences (ICASSP'23) ; 4) nous développons un algorithme basé sur l'optimisation variationnelle de l'Expectation-Maximization (VEM), en utilisant des modèles DVAE pour l'amélioration non supervisée de la parole (TASLP'22). Pour favoriser la recherche future, nous mettons tout notre code à disposition du public.

The field of modeling sequential data, such as speech signals, has made remarkable progress thanks to recent advancements in deep learning. Among the myriad of approaches, deep generative models, specifically those with explicit probability density function definitions like Variational AutoEncoders (VAEs), have gained significant attention due to their unique advantages in three crucial areas. Firstly, they operate within an unsupervised learning framework, eliminating the need for labor-intensive labeling. Secondly, they acquire expressive latent representations, enabling their application in a wide range of downstream tasks. Lastly, these models are probabilistic in nature, making them easily integrable into existing algorithms based on a Bayesian modeling framework. Nevertheless, the original vanilla VAE processes each data vector independently due to the i.i.d. assumption. This approach is suboptimal for accurately modeling correlated (temporal) sequences. Consequently, finding a suitable adaptation of the vanilla VAE to modeling sequential data remains an exciting challenge.Under this motivation, we make the following contributions in this thesis: (1) we thoroughly review recent advancements in extending the VAE model to accommodate sequential data and consolidate them under a general class of models called dynamical VAEs (DVAEs), providing a general definition of their generative and inference models, as well as the optimization objective; (FTML'21) (2) we perform a quantitative benchmarking study on the existing DVAE models to assess their performance in modeling sequential data with different architecture design (FTML'21, Interspeech'21); (3) we propose a novel DVAE model that incorporates a hierarchical latent space and leverages the Transformer architecture for sequence modeling (ICASSP'23); (4) we develop an algorithm based on variational Expectation-Maximization (VEM) optimization, utilizing DVAE models for unsupervised speech enhancement (TASLP'22). To foster future research, we make all our code publicly accessible.