Intégration de Savoir Expert dans les Modèles Génératifs : Application à la Génération Musicale

Integrating Expert Knowledge in Generative Models : Application to Music Generation

• Auteur / Autrice : Stéphane Rivaud
• Direction : Francis Rousseaux
• Type : Thèse de doctorat
• Discipline(s) : Info - Informatique
• Date : Soutenance le 12/06/2020
• Etablissement(s) : Reims
• Ecole(s) doctorale(s) : Ecole doctorale Sciences du Numérique et de l’Ingénieur (Reims, Marne)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Sciences et Technologies de l'Information et de la Communication (CRESTIC) EA 3804 (Reims, Marne)
• Jury : Président / Présidente : Nicolas Courty
• Jury : Examinateurs / Examinatrices : Francis Rousseaux, Michèle Sebag, Charlotte Truchet, Philippe Esling, Hacène Fouchal
• Jury : Rapporteurs / Rapporteuses : Michèle Sebag, Charlotte Truchet

Mots clés

Mots clés contrôlés

Bandes audio

Programmation

Modèles relationnels probabilistes

Mots clés libres

Apprentissage Profond

Modèles Génératifs

Synthèse Audio

Programmation par contraintes

Modèles Graphiques

Complexité

Deep Learning

Generative Models

Audio Synthesis

Constraint Programming

Probabilistic Graphical Models

Complexity

Résumé

Cette thèse porte sur les modèles génératifs pour la génération automatique de musique, avec une attention particulière sur la notion de contrôle. Nous nous intéressons d'une part aux modèles génératifs en tant qu'outils pour l'apprentissage automatique, d'autre part à la génération automatique de musique en tant que domaine applicatif ayant des défis qui lui sont propres. La première partie de cette thèse traite des modèles graphiques probabilistes et de la programmation par contraintes pour la composition musicale assistée par ordinateur. Nous nous intéressons à la génération de partitions et avons donc affaire à des données discrètes. Nos contributions portent sur des résultats de complexité pour l'échantillonnage de distribution sous contraintes ainsi que sur l'évaluation de la pertinence d'une telle approche pour la composition assistée par ordinateur. La deuxième partie de cette thèse porte sur l'utilisation des réseaux de neurones adversariaux pour la synthèse audio. Nous introduisons une géométrie perceptive permettant d'entraîner un générateur synthétisant des formes d'ondes indifférenciables des formes d'ondes réelles. Nous développons un cadre théorique justifiant notre approche et exposons des heuristiques générales qui permettent d'assurer la stabilité numérique de nos algorithmes. La conclusion s'attache à discuter des potentiels impacts de nos contributions et propose des directions d'approfondissement des travaux exposés.

This thesis investigates generative modeling for automatic music generation applications with an emphasis on controlled generation. We investigate both generative modeling as a part of Machine Learning and Automatic Music Generation as an area facing its own challenges. The first part of this thesis investigate the use of Probabilistic Graphical Models and Constraint Programming for computer assisted music composition. We study the problem of automatic generation of music scores and thus deals with discrete data. Our contributions consist in complexity results for sampling statistical models subject to hard constraints, along with a discussion on the relevance of such approaches for music composition from both theoretical and practical point of view. Our second contribution is the investigation of Generative Adversarial Network for audio synthesis. We introduce a Perceptual Geometry allowing us to train a generator synthesizing audio waveforms that are indistinguishable from real ones. We develop a theoretical framework justifying our approach and gives general heuristics to ensure numerical stability. We conclude with a discussion on the potential impacts of our contributions and proposes future research directions.