Modèles d’alignement probabilistes génératifs pour les mots et sous-mots : une exploration systématique des limites et potentialités des paramétrisations neuronales

Generative Probabilistic Alignment Models for Words and Subwords : a Systematic Exploration of the Limits and Potentials of Neural Parametrizations

• Auteur / Autrice : Anh Khoa Ngo Ho
• Direction : François Yvon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/02/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Jury : Président / Présidente : Pierre Zweigenbaum
• Jury : Examinateurs / Examinatrices : Yves Lepage, Loïc Barrault, Nadi Tomeh
• Jury : Rapporteurs / Rapporteuses : Yves Lepage, Loïc Barrault

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Traduction automatique

Traitement automatique du langage naturel

Apprentissage automatique

Mots clés libres

Traduction automatique

Alignement de mots

Réseaux de neurones artificiels

Machine translation

Word alignment

Artificial neural network

Résumé

L'alignement consiste à mettre en correspondance des unités au sein de bitextes, associant un texte en langue source et sa traduction dans une langue cible. L'alignement peut se concevoir à plusieurs niveaux: entre phrases, entre groupes de mots, entre mots, voire à un niveau plus fin lorsque l'une des langues est morphologiquement complexe, ce qui implique d'aligner des fragments de mot (morphèmes). L'alignement peut être envisagé également sur des structures linguistiques plus complexes des arbres ou des graphes. Il s'agit d'une tâche complexe, sous-spécifiée, que les humains réalisent avec difficulté. Son automatisation est un problème exemplaire du traitement des langues, historiquement associé aux premiers modèles de traduction probabilistes. L'arrivée à maturité de nouveaux modèles pour le traitement automatique des langues, reposant sur des représentationts distribuées calculées par des réseaux de neurones permet de reposer la question du calcul de ces alignements. Cette recherche vise donc à concevoir des modèles neuronaux susceptibles d'être appris sans supervision pour dépasser certaines des limitations des modèles d'alignement statistique et améliorer l'état de l'art en matière de précision des alignements automatiques.

Alignment consists of establishing a mapping between units in a bitext, combining a text in a source language and its translation in a target language. Alignments can be computed at several levels: between documents, between sentences, between phrases, between words, or even between smaller units end when one of the languages is morphologically complex, which implies to align fragments of words (morphemes). Alignments can also be considered between more complex linguistic structures such as trees or graphs. This is a complex, under-specified task that humans accomplish with difficulty. Its automation is a notoriously difficult problem in natural language processing, historically associated with the first probabilistic word-based translation models. The design of new models for natural language processing, based on distributed representations computed by neural networks, allows us to question and revisit the computation of these alignments. This research project, therefore, aims to comprehensively understand the limitations of existing statistical alignment models and to design neural models that can be learned without supervision to overcome these drawbacks and to improve the state of art in terms of alignment accuracy.