Apprentissage par transfert pour l'analyse sémantique translingue

Transfer learning for cross-lingual semantic analysis

• Auteur / Autrice : Jeongwoo Kang
• Direction : Didier Schwab, Maximin Coavoux, Cédric Lopez
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/04/2025
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (Isère, France ; 2007-....)
• Partenaire(s) de recherche : Equipe de recherche : Groupe d'étude en traduction automatique - Traitement automatisé des langues et de la parole (Grenoble ; 2007-....)
• Jury : Président / Présidente : Éric Gaussier
• Jury : Examinateurs / Examinatrices : Chloé Braud
• Jury : Rapporteurs / Rapporteuses : Marie-Hélène Candito, Patrice Bellot
• DOI : 10.70675/0dab41b5za289z4b88z9380ze7ebe0d5092f

Mots clés

Mots clés contrôlés

Apprentissage few-shot

Traitement automatique du langage naturel

Mots clés libres

Apprentissage par transfert

Traitement automatique des langues

Apprentissage automatique

Intelligence artificielle

Transfer learning

Natural language processing

Machine learning

Artificial intelligence

Résumé

Abstract Meaning Representation (AMR) capture l'information sémantique des textes et la représente sous la forme d'un graphe. Les graphes AMR sont utiles à de nombreux systèmes de Traitement Automatique des Langues (TAL) en présentant l'information sous une forme structurée, canonique et moins ambiguë. Par conséquent, la conception et le développement d'analyseurs AMR pour générer automatiquement des graphes AMR est une tâche importante. La construction de tels modèles pour le français est cependant confrontée à un défi majeur en raison du manque de données, à la fois pour l'évaluation et l'entraînement. Cette recherche a abordé ces défis à travers trois contributions clés visant à faire progresser l'analyse sémantique AMR en français. Premièrement, nous développons des données d'évaluation AMR multilingues. Ces ensembles de données comportent deux niveaux de qualité (or et argent) en fonction du degré d'intervention manuelle. Les données gold sont obtenues par alignement manuel des données. Nous utilisons les données AMR de l'anglais The Little Prince et les alignons manuellement sur les traductions multilingues. Cet alignement manuel minutieux garantit la qualité et la fiabilité des données. En revanche, les données silver sont obtenues par traduction automatique sans contrôle manuel de la qualité. Par conséquent, nous évaluons ces données de manière intrinsèque et extrinsèque afin de déterminer leur fiabilité. Deuxièmement, nous explorons les approches d'apprentissage zero/few-shot pour entraîner un analyseur AMR pour nos langues cibles sans accès aux données d'entraînement correspondantes. Nous expérimentons deux méthodes différentes : Speaking the Graph Language via Multilingual Translation (Procopio et al., 2021, SGL) et le méta-apprentissage. En reproduisant SGL, nous comparons les configurations bilingues et multilingues afin de déterminer quelle configuration fournit les meilleurs résultats dans les scénarios d'apprentissage zero-shot. En outre, nous appliquons le méta-apprentissage pour entraîner un modèle capable de s'adapter rapidement à une nouvelle langue cible avec quelques exemples. Afin d'évaluer l'efficacité du méta-apprentissage pour l'analyse AMR translingue, nous comparons ses performances à celles d'une approche d'apprentissage conjoint, ce qui donne un aperçu de son applicabilité à l'analyse AMR translingue. Enfin, nous proposons une autre façon de linéariser les graphes AMR pour l'apprentissage de modèles séquence à séquence. Récemment, l'utilisation d'un modèle séquence-séquence pour l'analyse syntaxique AMR a suscité beaucoup d'intérêt en raison de sa simplicité et de son efficacité. La linéarisation des graphes AMR est une condition préalable à ces méthodes. L'encodage de Penman a été un choix courant pour la linéarisation de l'AMR mais nous émettons l'hypothèse que l'encodage de Penman a des limites pour capturer les structures de graphe profondes de l'AMR. Nous proposons une autre façon de les linéariser avec des triplets et nous évaluons notre méthode sur différentes dimensions, en nous concentrant particulièrement sur la profondeur et la longueur des graphes.

Abstract Meaning Representation (AMR) captures the meaning of a text and represents it in a graph format. AMR graphs benefit many NLP systems by presenting information in a structured, canonical, and less ambiguous form. Therefore, building an AMR parser to generate AMR graphs from natural language sentences automatically is an important task. However, building such models for French faces a major challenge due to a lack of data, both for evaluation and training. This research addressed these challenges through three key contributions aimed at advancing French AMR parsing.First, we develop multilingual AMR evaluation data. These datasets consist of two quality levels (gold and silver) depending on the degree of manual intervention. Gold data is obtained by manual data alignment. We leverage an English AMR corpus: The Little Prince, and manually align it to multilingual translations. This careful manual alignment ensures the high quality and reliability of the data. On the other hand, silver data is obtained by machine translation without manual quality control. Therefore, we evaluate this data intrinsically and extrinsically to assess its reliability.Secondly, we investigate zero/few-shot learning for training AMR parsers in target languages without target language training data. Specifically, we experiment with two methods: Speaking the Graph Language via Multilingual Translation (Procopio et al., 2021, SGL) and meta-learning. For SGL, we compare bilingual and multilingual configurations to identify the optimal setup for zero-shot learning. Using meta-learning, we train a model to adapt quickly to new target languages with minimal examples. Finally, we evaluate our meta-laerning approach with joint-learning to assess its effectiveness for cross-lingual AMR parsing.Finally, we design an alternative way to linearize AMR graphs for sequence-to-sequence model training. Recently, using a sequence-to-sequence model for AMR parsing has gained attention due to its simplicity and efficiency. A prerequisite for such methods is the linearization of AMR graphs. Penman encoding has been a common choice for AMR linearization but we hypothesize that Penman encoding has limitations in capturing deep graph structures of AMR. We suggest an alternative way to linearize them with triples and evaluate our method across various dimensions, particularly focusing on the graph depth and length.