Apprentissage et applications de représentations multilingues distribuées

Learning distributed representations of sentences using neural networks

• Auteur / Autrice : Alexis Conneau
• Direction : Paul Deléglise, Loïc Barrault, Holger Schwenk
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/05/2019
• Etablissement(s) : Le Mans
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Université du Mans
• Jury : Examinateurs / Examinatrices : Paul Deléglise, Loïc Barrault, Holger Schwenk, Yann Le Cun, Chris Dyer
• Jury : Rapporteurs / Rapporteuses : Claire Gardent, François Yvon

Mots clés

Mots clés contrôlés

Multilinguisme

Linguistique -- Informatique

Phrase (linguistique)

Apprentissage profond

Réseaux neuronaux (informatique)

Mots clés libres

Apprentissage machine

Réseaux de neurones profonds

Représentations distribuées de phrases

Machine learning

Deep learning

Distributed representations of sente

Résumé

La capacité d'apprendre desreprésentations génériques d'objets tels que desimages, des mots ou des phrases est essentiellepour construire des algorithmes qui ont unecompréhension élargie du monde. Grâce àl'apprentissage par transfert, les réseaux neuronauxpeuvent apprendre des représentations d’objetscomme des images à partir de gros jeux dedonnées, puis les exploiter pour améliorer laperformance des tâches à faibles ressources. Bienque l'apprentissage par transfert ait été très efficacepour transférer les représentations d'imagesapprises sur ImageNet à des tâches de vision àfaibles ressources, les représentations génériquesde texte à l'aide de réseaux neuronaux se sontlimitées aux représentations de mots. Cette thèseprésente une étude des représentations de phrases.J’y présente comment l’on a poussé l'état de l'artdes embeddings monolingues et cross-lingues. Lespremières contributions de cette thèse incluentSentEval, un outil d'évaluation et d’analyse desreprésentations de phrases universelles etInferSent, un encodeur de phrases générique.Nous montrons dans cette première partie que desreprésentations génériques de phrase peuvent êtreconstruites via des réseaux de neurones et qu'ellesfournissent des caractéristiques (« features»)puissantes de phrases, utilisables dans denombreux contextes. Dans la deuxième partie dema thèse, mes contributions traitent de l'alignementde distributions de mots et de phrases dansplusieurs langues. Je montre pour la première foisqu'il est possible d’aligner des espaces de mots etde phrases de manière totalement non supervisée,sans aucune données parallèles. En particulier,nous montrons que nous pouvons traduire des motsde manière non supervisée, ce qui a été la pierreangulaire du nouveau domaine de recherche de"traduction automatique non supervisée". Madernière contribution sur la modélisation multilinguemontre que les représentations de phrasesprovenant des modèles de langues peuvent êtrealignées de manière totalement non supervisée, cequi conduit à un nouvel état de l'art en traductionautomatique supervisée et non supervisée, et enclassification cross-lingue.

Being able to learn genericrepresentations of objects such as images, words orsentences is essential to building machines thathave a broad understanding of the world. Throughtransfer learning, neural networks can learnrepresentations from high-resource tasks and thenleverage these to improve performance on lowresourcetask. While transfer learning has been verysuccessful for transferring image features learnedon ImageNet to low-resource visual understandingtasks, generic representations of text using neuralnetworks were mostly limited to word embeddings.This dissertation presents a full study of sentenceembeddings, through which I discuss how I havepushed the state of the art in monolingual andcross-lingual general-purpose embeddings. The firstcontributions of this thesis include SentEval, atransfer learning evaluation toolkit for universalsentence embeddings, InferSent, a state-of-the-artgeneric sentence encoder, and probing tasks,through which sentence encoders are analyzed andprobed for linguistic properties.We show in this first part that genericrepresentations of sentence can be built and thatthey provide powerful out-of-the-box features ofsentences. In the second part of my PhDs, mycontributions have been centered around aligningdistributions of words and sentences, in manylanguages. I show for the first time that it is possibleto build generic cross-lingual word and sentenceembedding spaces in a completely unsupervisedway, without any parallel data. In particular, weshow that we can perform word translation withoutparallel data, which was the building block for thenew research field of "unsupervised machinetranslation". My last contribution on cross-linguallanguage modeling shows that state-of-the-artsentence representations can be aligned in acompletely unsupervised way, leading to a newstate of the art on supervised and unsupervisedmachine translation, and on the zero-shotcrosslingual classification benchmarked called"XNLI".