Optimisation de script pour la conception de corpus vocaux de TTS dans la génération de livres audio

Script optimization for TTS voice corpus design in audio-book generation

• Auteur / Autrice : Meysam Shamsi
• Direction : Damien Lolive
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/10/2020
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : MATHSTIC
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - EXPRESSION

Mots clés

Mots clés contrôlés

Synthèse automatique de la parole

Mots clés libres

Sélection de script

Génération de livres audio expressifs

Réduction de voix

Évaluation de la qualité de voix de synthèse

Systèmes de synthèse de parole hybride

Plongements linguistiques et acoustiques

Script selection

Expressive audio-Book generation

Voice reduction

Synthetic speech quality evaluation

Hybrid TTS systems

Linguistic and acoustic embeddings

Résumé

L'objectif de cette thèse est la génération d'un livre audio expressif, vocalisé à l'aide de signaux de parole synthétiques et naturels, avec une haute qualité et un coût d'enregistrement minimal. La stratégie consiste à sélectionner une partie du livre dont les signaux enregistrés issus de sa lecture forment une voix. Cette voix est utilisée pour vocaliser le reste du livre à l'aide d'un système de synthèse de parole. Plusieurs stratégies sont proposées successivement : une stratégie a posteriori reposant sur des techniques de réduction de corpus, l'utilisation d'un auto-encodeur basé sur un réseau neuronal (CNN) se concentrant sur les informations linguistiques, et enfin la sélection des phrases les plus courtes. Ces différentes approches sont évaluées de manière objective et subjective. Enfin, la qualité d'un livre audio mixant signaux de parole naturels et synthétiques est étudiée. Les évaluations montrent que le mélange de signaux synthétiques et naturels est préférable à une vocalisation entièrement synthétique à l'aide d'un système TTS par sélection d'unités. Ce résultat est contraire à ce qui a été rapporté dans la littérature.

The objective of this thesis is the generation of a high quality expressive audio-book, using natural and synthetic speech signals with a minimal recording cost. The strategy consists on selecting a part of the book and recording its reading to build a voice corpus. This voice is then used for synthesizing the rest of the book using a Text-to-Speech system. Several strategies are successively proposed: a posterior approach using voice reduction methods, a neural network based (CNN) auto-encoder focusing on linguistic information, and then the selection of the shortest utterances. These different approaches are objectively and perceptually evaluated. Finally, the quality of audio-book mixing natural and synthetic speech signals is evaluated. The evaluations show the mixture of synthetic and natural signals is preferred than fully synthetic signals produced by a unit selection based TTS system.