Au-delà de la phrase : traduction automatique de dialogue en contexte

par Rachel Bawden

Projet de thèse en Informatique

Sous la direction de Sophie Rosset et de Thomas Lavergne.

Thèses en préparation à Paris Saclay , dans le cadre de Sciences et Technologies de l'Information et de la Communication , en partenariat avec LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur (laboratoire) , ILES - Information, Langue Ecrite et Signée (equipe de recherche) et de Université Paris-Sud (établissement de préparation de la thèse) depuis le 01-10-2015 .


  • Résumé

    L'objectif de cette thèse est d'explorer les difficultés rencontrées lors de la traduction automatique de dialogues et de discours spontanés du point de vue de la théorie linguistique, de la modélisation et de l'évaluation. La thèse se concentre sur la notion de contexte, défini dans notre cas comme étant des informations présentes au-delà de la portée de la phrase courante. La plupart des systèmes de traduction automatique reposent sur le principe de traduire les phrases indépendamment les unes des autres. Par conséquent certaines phrases ne peuvent pas être correctement traduites sans l'intégration des informations supplémentaires extérieures à la phrase. Ces cas sont principalement dus à des différences entre les systèmes linguistiques des langues source et cible, quand la phrase source est ambiguë par rapport à sa traduction. Quelques exemples de traductions qui nécessitent du contexte sont donnés ci-dessous (1-3) pour la traduction de l'anglais vers le français. Certaines phrases nécessitent de connaître le genre du locuteur (exemple 1), d'autres concernent l'ambiguïté dans le choix de la traduction d'un pronom anaphorique à cause des différences cross-lingues de l'accord grammatical (exemple 2), et certaines concernent l'ambiguïté sémantique des phrases sources par rapport à la langue cible (exemple 3). (1) anglais ‘I am happy for you' -> français ‘Je suis content/contente pour vous' (2) anglais ‘It is on the table' -> français ‘Il/elle est sur la table' (3) anglais ‘He saw her duck' -> français ‘Il a vu son canard'/‘Il l'a vue baisser sa tête' Le contexte nécessaire pour désambiguïser de tels exemples peut être les phrases précédentes ou suivantes (contexte linguistique) ou être les informations relatives au cadre de dialogue ou aux interlocuteurs (contexte extra-linguistique), ce qui est le cas par exemple du genre du locuteur. La prise en compte du contexte pose des difficultés pour la traduction automatique, comme détaillé dans (Hardmeier, 2014). Des stratégies différentes seront explorées pour prendre en compte ces différents types de contexte, en utilisant la traduction automatique statistique (SMT) et puis la traduction automatique neuronale (NMT) : (i) Le pré-traitement des données d'entrée au système de traduction pour inclure le contexte nécessaire pour désambiguïser, par exemple (Le Nagard et Koehn, 2010) pour la traduction de pronoms anaphoriques, (Meyer et Popescu-Belis, 2012) pour la traduction de connecteurs discursifs, et (Sennrich et al., 2016) pour les différences de registre. (ii) La post-édition des phrases qui ont été automatiquement traduites comme dans la plupart des systèmes soumis aux campagnes d'évaluation pour la prédiction des pronoms en cross-lingue (Guillou et al., 2016; Luotolahti et al., 2016). (iii) La modification directe du système de traduction pour utiliser le contexte, pour le SMT (Hardmeier et al., 2013) et pour le NMT (Zoph and Knight, 2016; Libovický et Helcl, 2017; Wang et al., 2017; Tiedemman et Scherrer, 2017). L'évaluation sera un point important de cette thèse, étant donné que les metriques d'évaluation automatiques telles que BLEU (Papineni et al., 2002) sont inadaptées pour l'évaluation de phénomènes discursifs, dont la bonne traduction est une question de cohésion dans la traduction et non pas d'une similarité superficielle entre les formes de la traduction et celles d'une traduction de référence (Hardmeier, 2014). Nous étudierons des strategies d'évaluation alternatives et les utiliserons pour l'évaluation de systèmes de traduction automatique contextuels et état-de-l'art. Références Guillou, Liane, Christian Hardmeier, Preslav Nakov, Sara Stymne, Jörg Tiedemann, Yannick Versley, Mauro Cettolo, Bonnie Webber, et Andrei Popescu-Belis. “Findings of the 2016 WMT Shared Task on Cross-Lingual Pronoun Prediction.” In Proceedings of the 1st Conference on Machine Translation, 525-542. WMT'16. Berlin, Allemagne, 2016. Hardmeier, Christian, Sara Stymne, Jörg Tiedemann, et Joakim Nivre. “Docent: A Document-Level Decoder for Phrase-Based Statistical Machine Translation.” In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, 193-198. ACL'13. Sofia, Bulgarie, 2013. Libovický, Jindřich, et Jindřich Helcl. “Attention Strategies for Multi-Source Sequence-to-Sequence Learning.” In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, 196-202. ACL'17. Vancouver, Canada, 2017. Luotolahti, Juhani, Jenna Kanerva, et Filip Ginter. “Cross-Lingual Pronoun Prediction with Deep Recurrent Neural Networks.” In Proceedings of the 1st Conference on Machine Translation, 596-601. WMT'16. Berlin, Allemagne, 2016. Meyer, Thomas, et Andrei Popescu-Belis. “Machine Translation of Labeled Discourse Connectives.” In Proceedings of the 10th Biennial Conference of the Association for Machine Translation in the Americas, 129–138. AMTA'12. San Diego, Californie, États-Unis, 2012. Le Nagard, Ronan, et Philipp Koehn. “Aiding Pronoun Translation with Co-Reference Resolution.” In Proceedings of the 5th Workshop on Statistical Machine Translation, 252-261. WMT'10. Uppsala, Suède, 2010. Papineni, Kishore, Salim Roukos, Todd Ward, et Wei-Jing Zhu. “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 311-318. ACL'02. Philadelphie, États-Unis, 2002. Sennrich, Rico, Barry Haddow, et Alexandra Birch. “Controlling Politeness in Neural Machine Translation via Side Constraints.” In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 35-40. NAACL'16. Californie, États-Unis, 2016. Tiedemann, Jörg, et Yves Scherrer. “Neural Machine Translation with Extended Context.” In Proceedings of the 3rd Workshop on Discourse in Machine Translation, 82-92. DISCOMT'17. Copenhague, Danemark, 2017. Wang, Longyue, Zhaopeng Tu, Andy Way, et Qun Liu. “Exploiting Cross-Sentence Context for Neural Machine Translation.” In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, 2816-2821. EMNLP'17. Copenhague, Danemark, 2017. Zoph, Barret, et Kevin Knight. “Multi-Source Neural Translation.” In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics, 30-34. NAACL'16. San Diego, Californie, États-Unis, 2016.

  • Titre traduit

    Going beyond the sentence: Contextual Machine Translation of Dialogue


  • Résumé

    The aim of the PhD is to explore the challenges faced when automatically translating spontaneous dialogue and discourse from the point of view of linguistic theory, modelling and evaluation. The thesis centres on the idea of context, defined in our setting as information beyond the scope of the current sentence. The majority of machine translation systems still translate sentences independently of each other. Some sentences cannot be correctly translated without additional information that is not found in the current sentence. These cases arise mainly due to differences in language systems, which means that a source sentence is ambiguous with respect to its translation. Some examples of context-dependent translation from English to French include the need to know speaker gender when translating (Example 1), ambiguity in pronoun choice due to cross-lingual differences in grammatical gender marking (Example 2) and semantic ambiguity of source words with respect to the target language (Example 3). (1) English ‘I am happy for you' -> French ‘Je suis content/contente pour vous' (2) English ‘It is on the table' -> French ‘Il/elle est sur la table' (3) English ‘He saw her duck' -> French ‘Il a vu son canard'/‘Il l'a vue baisser sa tête' The context necessary to disambiguate such examples can be found in the preceding or following sentences (linguistic context) or outside of the text in information relative to the dialogue setting or participants (extra-linguistic context), such as speaker gender. Integration of context in machine translation poses difficulties, as detailed in (Hardmeier, 2014). Different strategies will be explored to integrate these different types of context in machine translation systems, using first statistical machine translation (SMT) and then neural machine translation (NMT): (i) pre-processing of input to include the disambiguating context, for example (Le Nagard and Koehn, 2010) for anaphoric pronoun translation, (Meyer and Popescu-Belis, 2012) for discourse connective translation, (Sennrich et al., 2016) for register differences. (ii) post-edition of automatically translated sentences, for example most systems submitted to the pronoun prediction shared tasks (Guillou et al., 2016; Luotolahti et al., 2016). (iii) directly modifying the translation system to use context for SMT (Hardmeier et al., 2013) and NMT (Zoph and Knight, 2016; Libovický and Helcl, 2017; Wang et al., 2017; Tiedemman and Scherrer, 2017). Evaluation will be a key focus of this thesis, in light of the insufficiency of standard automatic evaluation metrics such as BLEU (Papineni et al., 2002) to evaluate discourse phenomena, which rely more on cohesion within the translation than surface similarity with a reference translation (Hardmeier, 2014). We will study possible alternative evaluation strategies and employ these new strategies on state-of-the-art contextual machine translation systems. References Guillou, Liane, Christian Hardmeier, Preslav Nakov, Sara Stymne, Jörg Tiedemann, Yannick Versley, Mauro Cettolo, Bonnie Webber, and Andrei Popescu-Belis. “Findings of the 2016 WMT Shared Task on Cross-Lingual Pronoun Prediction.” In Proceedings of the 1st Conference on Machine Translation, 525-542. WMT'16. Berlin, Germany, 2016. Hardmeier, Christian, Sara Stymne, Jörg Tiedemann, and Joakim Nivre. “Docent: A Document-Level Decoder for Phrase-Based Statistical Machine Translation.” In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, 193-198. ACL'13. Sofia, Bulgaria, 2013. Libovický, Jindřich, and Jindřich Helcl. “Attention Strategies for Multi-Source Sequence-to-Sequence Learning.” In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, 196-202. ACL'17. Vancouver, Canada, 2017. Luotolahti, Juhani, Jenna Kanerva, and Filip Ginter. “Cross-Lingual Pronoun Prediction with Deep Recurrent Neural Networks.” In Proceedings of the 1st Conference on Machine Translation, 596-601. WMT'16. Berlin, Germany, 2016. Meyer, Thomas, and Andrei Popescu-Belis. “Machine Translation of Labeled Discourse Connectives.” In Proceedings of the 10th Biennial Conference of the Association for Machine Translation in the Americas, 129-138. AMTA'12. San Diego, California, USA, 2012. Le Nagard, Ronan, and Philipp Koehn. “Aiding Pronoun Translation with Co-Reference Resolution.” In Proceedings of the 5th Workshop on Statistical Machine Translation, 252-261. WMT'10. Uppsala, Sweden, 2010. Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu. “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 311-318. ACL'02. Philadelphia, USA, 2002. Sennrich, Rico, Barry Haddow, and Alexandra Birch. “Controlling Politeness in Neural Machine Translation via Side Constraints.” In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 35-40. NAACL'16. California, USA, 2016. Tiedemann, Jörg, and Yves Scherrer. “Neural Machine Translation with Extended Context.” In Proceedings of the 3rd Workshop on Discourse in Machine Translation, 82-92. DISCOMT'17. Copenhagen, Denmark, 2017. Wang, Longyue, Zhaopeng Tu, Andy Way, and Qun Liu. “Exploiting Cross-Sentence Context for Neural Machine Translation.” In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, 2816-2821. EMNLP'17. Copenhagen, Denmark, 2017. Zoph, Barret, and Kevin Knight. “Multi-Source Neural Translation.” In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics, 30-34. NAACL'16. San Diego, California, USA, 2016.