Vers une Compréhension Contextuelle et Structurée de la Parole Dialogique Orientée Tâche

Towards Contextual and Structured Spoken Task-Oriented Dialogue Understanding

• Auteur / Autrice : Lucas Druart
• Direction : Yannick Estève
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/10/2024
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : École doctorale Sciences et agrosciences (Avignon)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique d'Avignon
• Jury : Président / Présidente : Frédéric Béchet
• Jury : Examinateurs / Examinatrices : Valentin Vielzeuf, Dilek Hakkani-Tür
• Jury : Rapporteurs / Rapporteuses : François Portet, Sophie Rosset

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Agents conversationnels

Reconnaissance automatique de la parole

Mots clés libres

Compréhension de la parole

Dialogue orienté tâche

Neuronale de bout en bout

Spoken language understanding

Task-Oriented dialogue

End-To-End

Résumé

Il est essentiel de comprendre précisément les demandes de l’utilisateur pour assurer une interaction fluide avec les systèmes de Dialogues Orientés Tâche (DOT). Traditionnellement, ces systèmes adoptent des approches en cascade qui combinent la Reconnaissance Automatique de la Parole (RAP) avec la Compréhension du Language Naturel (CLN). Cependant, ces systèmes ont encore du mal à correctement associer les demandes complexes des utilisateurs avec leurs représentation internes. Des travaux récents mettent en évidence les possibilités d’amélioration de ces systèmes. D’une part, les approches de bout-en-bout ont permis d’améliorer les performances des systèmes de Compréhension de la Parole (CP). En effet, elles fournissent des prédictions plus précises et robustes en exploitant l’optimisation jointe et des informations paralinguistiques. D’autre part, des jeux de données textuels proposent des représentations sémantiques structurées. En effet, de telles représentations semblent plus adéquates pour représenter les demandes complexes des utilisateurs.Cette thèse explore ces deux directions pour une compréhension contextuelle et structurée de la parole dialogique orientée tâche. Nous menons d’abord une étude préliminaire consacrée à la CP dans le contexte des DOT. Nous avons conçu une approche en cascade pour effectuer le Suivi d’État du Dialogue (SED) parlé sur MultiWOZ. Notre approche s’est classée première dans le Speech Aware Dialogue System Technology Challenge grâce à une correction automatique des transcriptions et à de l’augmentation des données.Ensuite, nous avons proposé une nouvelle méthode pour réaliser le SED parlé de manière complètement neuronale pour MultiWOZ et SpokenWOZ. Notre approche fusionne une représentation latente du contexte textuel avec une représentation latente des derniers tours de parole afin de conditionner le décodeur d’états de dialogue. Bien qu’elle bénéficie d’optimisation jointe, en particulier dans les contextes purement audio, elle peine à propager correctement le contexte du dialogue.Enfin, en réponse à la différence de représentations sémantiques entre les jeux de données de DOT textuels et parlés, nous avons introduit le jeu de données ReMEDIATES. Celui-ci a été construit en augmentant, de manière semi-automatique,le jeu de données MEDIA avec des arbres sémantique. Le benchmark associé permet d’évaluer les modèles d’analyse sémantique des dialogues parlés avec des représentations contextuelles et structurées, ce qui ouvre des perspectives pour les défis à venir.

Accurately understanding users’ requests is key to provide smooth interactions with spoken Task-Oriented Dialogue (TOD) systems. Traditionally such systems adopt cascade approaches which combine an Automatic Speech Recognition (ASR) component with a Natural Language Understanding (NLU) one. Yet, those systems still have trouble to accurately map complex user’s request with their internal representation. Recent work highlights potential directions to improve those systems. On the one hand, end-to-end approaches have successfully enhanced Spoken Language Understanding (SLU) system’s performance. Indeed, they provide more robust and accurate predictions by leveraging joint optimization and paralinguistic information. On the other hand, textual datasets propose fine-grained semantic representations. Such representations seem more adequate to represent user’s complex requests.This thesis explores both directions towards contextual and structured spoken task-oriented dialogue understanding. We first conduct a preliminary study dedicated to getting the grips of SLU in the context of TOD. We designed a cascade approach to perform spoken Dialogue State Tracking (DST) on MultiWOZ. Our approach ranked first in the Speech Aware Dialogue System Technology Challenge thanks to transcription correction and data augmentation.Then, we proposed a novel method to perform completely neural spoken DST on both MultiWOZ and SpokenWOZ. Our approach fuses the high dimensional representation of a textual context with the representation of the current spoken dialogue turns to condition a dialogue state decoder. While it benefits from joint-optimization, especially in audio native settings, it struggles to accurately propagate the dialogue’s context.Finally, in response to the semantic representation gap between textual and spoken TOD datasets, we introduced the ReMEDIATES dataset and benchmark. This dataset was built with a semi-automatic annotation pipeline to enhance the French MEDIA dataset with semantic trees. The benchmark enables to evaluate spoken dialogue parsing models on structured and contextual representations which opens perspectives for future challenges.