Génération de textes multilingues à partir de graphes de connaissances : de la création de données à l'évaluation humaine

Multilingual KG-to-text Generation : From Data Creation To Human Evaluation

• Auteur / Autrice : Anna Nikiforovskaja
• Direction : Claire Gardent
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/04/2026
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Sina Zarrieß
• Jury : Examinateurs / Examinatrices : Saad Mahamood, Dimitra Gkatzia
• Jury : Rapporteurs / Rapporteuses : Sina Zarrieß, Pierre Zweigenbaum
• DOI : 10.70675/91abf08az4094z4205zb99dz476a0d78eec0

Mots clés

Mots clés contrôlés

Génération automatique de textes

Graphes de connaissances

Multilinguisme

Grands modèles de langage

Mots clés libres

Génération KG-To-Text

Génération de texte multilingue

Évaluation

LLM

KG-To-Text generation

Multilingual text generation

Evaluation

LLM

Résumé

Avec les vastes quantités de connaissances accessibles sous forme de graphes de connaissances (knowledge graphs, KG), la génération de texte à partir de graphes de connaissances (KG-to-text) est devenue un élément important de nombreuses applications utilisant ces connaissances pour améliorer les systèmes de dialogue, la traduction et la réponse aux questions. Cependant, alors que de nombreuses recherches ont été menées pour l'anglais, la génération KG-to-text pour d'autres langues reste peu explorée. Dans cette thèse, nous abordons cet enjeu en nous concentrant d'abord sur le russe, en analysant les capacités de généralisation aux données hors distribution des méthodes existantes de génération KG-to-text en russe. En introduisant de nouveaux benchmarks pour l'anglais et le russe qui intègrent des ratios variables d'entités et de propriétés non présentes dans les données d'entrainement tirés de DBpedia et de Wikidata, la recherche identifie d'abord une baisse significative des performances des modèles standard lors du traitement de données hors distribution. Une analyse qualitative met en évidence des schémas d'erreurs spécifiques induits par ces entrées inconnues, fournissant ainsi une base pour évaluer des stratégies de génération plus robustes. Nous utilisons ensuite cette analyse pour proposer plusieurs moyens d'améliorer la génération KG-to-text en russe en incorporant des informations supplémentaires afin de cibler les erreurs détectées. Nous évaluons l'affinage, le prompting de modèle linguistique à grande échelle (Large Language Models, LLM) et la génération augmentée par recherche d'information (Retrieval Augmented Generation, RAG), en explorant d'autres moyens d'intégrer des connaissances externes, tels que la mise à disposition de traductions d'entités possibles ou de verbalisations de graphes similaires. Les résultats indiquent que les modèles affinés ont une capacité de généralisation limitée sur des données inconnues. Si la RAG permet d'obtenir une plus grande fluidité, elle est moins fidèle à la KG d'entrée que le LLM-prompting. En fin de compte, le LLM-prompting et la RAG s'avèrent tous deux plus performants que l'affinement traditionnel sur tous les ensembles de tests inconnus, ce qui suggère que les stratégies de prompting et de RAG sont plus efficaces pour gérer les changements de domaine. Nous étendons ensuite notre analyse et nos recherches à d'autres langues, notamment l'anglais, le français, le chinois, le russe et l'espagnol. Après avoir créé des ensembles d'entraînement multilingues « silver » et des données de test « gold », nous comparons trois approches architecturales distinctes : un modèle hybride combinant la génération KG-to-text en anglais avec la traduction automatique, la traduction automatique directement affinée et le few-shot prompting de LLM. Les résultats démontrent que les stratégies de few-shot prompting surpassent systématiquement les approches de traduction hybrides et affinées dans les cinq langues cibles. De plus, nous poussons plus loin l'approche de prompting LLM pour générer des textes dans des langues peu dotées, montrant que le prompting peut combler le fossé pour celles-ci.

With vast amounts of knowledge accessible as Knowledge Graphs (KGs), Knowledge Graph to text generation (KG-to-text) has become an important part of many applications using that knowledge to improve dialogue systems, translation and question answering. However, while a lot of research has been done for English, KG-to-text generation for other languages remains under-explored. In this thesis we address this by first focusing on Russian, analysing generalisation capabilities to out-of-distribution data of existing KG-to-Russian text generation methods. By introducing novel benchmarks for English and Russian that incorporate varying ratios of unseen entities and properties from both DBpedia and Wikidata, the research first identifies a significant performance decay in standard models when processing out-of-distribution data. A qualitative analysis further highlights specific error patterns induced by these unseen inputs, providing a foundation for evaluating more robust generation strategies. We then use this analysis to propose several ways to improve KG-to-Russian text generation by incorporating additional information to target found errors. We evaluate Fine-Tuning, Large Language Model (LLM) prompting, and Retrieval-Augmented Generation (RAG), exploring alternative ways of integrating external knowledge, such as providing possible entities translations or similar graphs verbalisations. The findings indicate that fine-tuned models demonstrate limited generalisation capacity on unseen data. While RAG achieves higher fluency, it is less faithful to the input KG than LLM-prompting. Ultimately, both LLM-prompting and RAG are found to outperform traditional fine-tuning across all unseen test sets, suggesting that prompting and RAG strategies are more effective for handling domain shifts. We then extend our analysis and research to other languages, covering English, French, Chinese, Russian, and Spanish. After creating silver multilingual training sets and gold test data, the work compares three distinct architectural approaches: a hybrid model combining KG-to-English text generation with machine translation, direct fine-tuned machine translation, and few-shot LLM prompting. The results demonstrate that optimized few-shot prompting strategies consistently outperform both hybrid and fine-tuned translation approaches across all five target languages. Moreover, we further challenge the LLM prompting approach to generate texts in low-resource languages, showing that prompting can bridge the gap for them.