Approches sensibles à l'affect pour le résumé automatique de textes : application au dialogue et à la remédiation cognitive dans un contexte à faibles ressources

Affect-aware Natural Language Generation : application to dialogue and cognitive remediation session summarization in low-resource settings

• Auteur / Autrice : Yongxin Zhou
• Direction : François Portet, Fabien Ringeval
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/11/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (Isère, France ; 2007-....)
• Partenaire(s) de recherche : Equipe de recherche : Groupe d'étude en traduction automatique - Traitement automatisé des langues et de la parole (Grenoble ; 2007-....)
• Jury : Président / Présidente : Cyril Labbé
• Jury : Examinateurs / Examinatrices : Benoît Favre, Mariët Theune
• Jury : Rapporteurs / Rapporteuses : Claire Gardent, Albert Gatt
• DOI : 10.70675/8ec4dbe0z863dz45b6z8150zbdca53aadd38

Mots clés

Mots clés contrôlés

Informatique affective

Génération automatique de textes

Mots clés libres

Génération automatique de textes

Remédiation cognitive

Résumé du dialogue

Évaluation

Informatique affective

Natural language generation

Cognitive remediation

Dialogue summarization

Evaluation

Affective Computing

Résumé

Cette thèse explore la génération automatique de texte (GAT) pour la thérapie numérique, en se concentrant sur la génération de rapports qui résument les sessions d'entraînement cognitif menées par les patients à domicile avec un assistant virtuel. L'objectif est de fournir aux orthophonistes des informations précieuses pour le suivi des patients. Nous avons abordé deux objectifs principaux : l'identification des informations médicales pertinentes à rapporter et l'extraction des points clés des dialogues entre le patient et l'assistant virtuel.Menée dans un contexte de faibles ressources, la recherche a été confrontée à des défis tels que la non-disponibilité des experts et des données et le traitement des informations affectives. Pour relever ces défis, nous avons adopté deux stratégies : la génération de données vers le texte (D2T) et la génération de texte vers le texte (T2T), en mettant l'accent sur le traitement de l'affect.Pour la génération T2T, afin de faire face au manque de ressources, nous avons utilisé des corpus de dialogues de centres d'appels français tels que DECODA et des modèles pré-appris français et multilingues. Nous avons évalué la performance des modèles en utilisant des mesures automatiques et une évaluation humaine. Nous avons également expérimenté en instruisant de grands modèles de langage (LLMs) sur des ensembles de données en français et en anglais avec diverses prompts, en comparant les résultats avec des modèles pré-appris. Notre évaluation a révélé que les modèles pré-appris ont obtenu de meilleures performances en termes de métriques automatiques, tandis que les résultats de ChatGPT et GPT-4 ont été préférés par les évaluateurs humains.En outre, nous avons introduit PSentScore, un ensemble de mesures visant à quantifier la préservation du contenu affectif dans les résumés de dialogue. Nous avons entraîné des modèles d'analyse du sentiment au niveau des mots. Nous avons mené des expériences sur un ensemble de données de dialogues en anglais (DialogSum), en contrôlant les données d'entraînement, afin de valider notre approche. Nous avons ensuite proposé un nouvel ensemble de mesures pour évaluer la pertinence d'un résumé basé sur la charge affective (proportion) et sa polarité. En utilisant ces mesures, nous avons montré que le modèle de résumé présente souvent une inadéquation entre le contenu affectif du dialogue d'entrée et le résumé. Nous avons également montré qu'en sélectionnant soigneusement les données d'entraînement, nous pouvions réduire ce problème.Pour la génération de D2T, nous avons présenté une application réelle des systèmes GAT : la génération de rapports résumant les sessions de remédiation à distance. Nous avons présenté la conception du rapport de session de remédiation en utilisant deux sources disponibles pour proposer une taxonomie d'informations clés. Nous avons d'abord développé un système basé sur des templates qui implique de proposer une structure de document et d'extraire des caractéristiques. Nous avons également mené des expériences avec GPT-4 en utilisant les mêmes données d'entrée que le système basé sur des templates. Les résultats de l'évaluation humaine ont montré que les rapports générés ont eu des scores moyens de 3.91 (template) et de 3.81 (GPT-4) sur 5. De plus, à partir des commentaires et des entretiens avec les évaluateurs, nous avons pu établir une liste de recommandations pour les rapports dans ce scénario.Cette thèse contribue au domaine de l'évaluation et de l'application de GAT, en faisant les premiers pas vers un GAT sensible à l'affect, crucial pour des domaines tels que les soins de santé et le service à la clientèle. Notre recherche souligne l'importance d'incorporer les émotions et les sentiments dans les systèmes de GAT afin d'améliorer leur efficacité dans les applications du monde réel, telles que l'aide aux orthophonistes avec des outils automatisés pour générer des rapports résumant les progrès des patients.

This thesis explores the application of Natural Language Generation (NLG) in digital therapy, with a focus on generating reports that summarize cognitive training sessions conducted by patients at home with a virtual assistant. The goal is to provide therapists with valuable insights for patient follow-up care. To achieve this, we addressed two main objectives: identifying relevant medical information to report and extracting key points from patient-virtual assistant dialogues.Conducted in low-resource settings, we faced challenges such as expert unavailability, lack of example texts and the handling of affective information. To address these challenges, we adopted two strategies: Data-to-Text (D2T) and Text-to-Text (T2T) generation, with a focus on affect-aware NLG.For T2T generation, to address the lack of resources, we leveraged French call center dialogues corpora such as DECODA and French-language and multilingual pre-trained models such as BART, T5 and GPT. We evaluated model performance using automatic metrics (ROUGE and BERTScore) and human evaluation. We also experimented with instructing Large Language Models (LLMs) on French and English datasets with various prompts, comparing results with task-specific pre-trained models. Our evaluation revealed that the pre-trained models achieved better performance in terms of automatic metric scores, while the outputs of ChatGPT and GPT-4, the instruct LLMs, were preferred by human evaluators.In addition, we found that most existing research primarily focuses on factual information, often neglecting affective content. To address this, we proposed PSentScore, a set of measures aimed at quantifying the preservation of affective content in dialogue summaries. We trained word-level sentiment analysis models to measure affective content in dialogues and summaries. We conducted experiments on an English dialogue dataset (DialogSum), controlling the training target, to validate our approach. We then proposed a new set of measures to assess the relevance of a summary based on the affective load (proportion) and its polarity. Using these measures, we showed that the summarization model often exhibits a mismatch between the affective content of the input dialogue and the summary. We also showed that by carefully selecting the training target, we could reduce this mismatch.For D2T generation, we presented a real-life application of NLG systems: the generation of reports summarizing remote remediation sessions, enabling therapists to stay informed of patient progress. We presented the design of the remediation session report using two available sources to propose a taxonomy of key information. We first developed a template-based system that involves proposing a document structure and extracting features. We also conducted experiments using GPT-4 using the same input as the template-based system. We then carried out a human evaluation using a list of questions. Our results showed that the generated reports received average rating scores of 3.91 (Template) and 3.81 (GPT-4) out of 5. Furthermore, from the set of comments and post-interviews with the evaluators, we were able to draw up a list of recommendations for reporting in remote remediation session scenarios.In conclusion, this thesis contributes to the field of NLG evaluation and application, taking the first steps towards affect-aware NLG, which is crucial in domains such as healthcare and customer service. Our research highlights the importance of incorporating affective information into NLG systems to improve their effectiveness in real-world applications. The outcomes of this thesis can support speech therapists in their daily work by providing them with automated tools to generate reports and summarize patient progress. Furthermore, our research has the potential to extend the number of people able to receive cognitive remediation, particularly in low-resource settings where access to expert therapists is limited.