Estimation de descriptions musicales et sonores par apprentissage profond

Music and speech description estimation with Deep Learning

• Auteur / Autrice : Alice Cohen-Hadria
• Direction : Geoffroy Peeters
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/10/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Sciences et technologies de la musique et du son (Paris ; 1983-....)
• Jury : Président / Présidente : Isabelle Bloch
• Jury : Examinateurs / Examinatrices : Carlos Agón, Juan Pablo Bello, Axel Roebel, Jimena Royo-Letelier
• Jury : Rapporteurs / Rapporteuses : Simon Dixon, Emmanuel Vincent

Mots clés

Mots clés contrôlés

Séparation de sources (traitement du signal)

Reconnaissance automatique de la parole

Traitement du signal

Réseaux neuronaux (informatique)

Informatique musicale

Mots clés libres

Réseaux de neurones convolutionnels

Musique

Structure

Voix chantée

Séparation

Anonymisation

Apprentissage

Convolutional neural networks

Music information retrieval

Structure

Singing voice

Separation

Anonymization

Learning

Résumé

En Music Information Retrieval (MIR, ou recherche d'information musicales) et en traitement de la parole, les outils d'apprentissage automatique deviennent de plus en plus standard. En particulier, de nombreux systèmes état de l'art reposent désormais sur l'utilisation des réseaux de neurones. Nous présenterons le travail effectué pour résoudre quatre tâches de traitement de la musique ou de la parole, en utilisant de réseaux de neurones. Plus précisément, nous utiliserons des réseaux de neurones convolutionnels, dont l'utilisation a permis de nombreuses avancées notamment en traitement d'image. La première tâche présentée sera l'estimation de structure musicale. Pour cette tâche, nous montrerons à quel point le choix de la représentation en entrée des réseaux de neurones convolutionnels peut être critique pour l'estimation de structure. La deuxième tâche présentée sera la détection de la voix chantée. Dans cette partie, nous expliquerons comment utiliser un modèle de détection de la voix afin d'aligner automatiquement des paroles et des pistes audio. La séparation de voix chantée sera la troisième tâche présentée. Pour cette tâche, nous présenterons une stratégie d'augmentation de données, un moyen d'augmenter considérablement la taille d'un ensemble d'entraînement. Enfin, nous aborderons l'anonymisation vocale dans des enregistrements urbains. Nous présenterons une méthode d'anonymisation qui masque le contenu et floute l'identité du locuteur, tout en préservant la scène acoustique restante.

In Music Information Retrieval (MIR) and voice processing, the use of machine learning tools has become in the last few years more and more standard. Especially, many state-of-the-art systems now rely on the use of Neural Networks.In this thesis, we propose a wide overview of four different MIR and voice processing tasks, using systems built with neural networks. More precisely, we will use convolutional neural networks, an image designed class neural networks. The first task presented is music structure estimation. For this task, we will show how the choice of input representation can be critical, when using convolutional neural networks. The second task is singing voice detection. We will present how to use a voice detection system to automatically align lyrics and audio tracks.With this alignment mechanism, we have created the largest synchronized audio and speech data set, called DALI. Singing voice separation is the third task. For this task, we will present a data augmentation strategy, a way to significantly increase the size of a training set. Finally, we tackle voice anonymization. We will present an anonymization method that both obfuscate content and mask the speaker identity, while preserving the acoustic scene.