Normalisation orthographique de corpus bruités

Spelling normalisation of noisy text

• Auteur / Autrice : Marion Baranes
• Direction : Laurence Danlos, Benoît Sagot
• Type : Thèse de doctorat
• Discipline(s) : Linguistique théorique, descriptive et automatique
• Date : Soutenance en 2015
• Etablissement(s) : Sorbonne Paris Cité
• Ecole(s) doctorale(s) : École doctorale Sciences du langage (Paris ; 1992-2019)
• Partenaire(s) de recherche : Autre partenaire : Université Paris Diderot - Paris 7 (1970-2019)
• Jury : Président / Présidente : Cédrick Fairon
• Jury : Examinateurs / Examinatrices : Delphine Bernhard
• Jury : Rapporteurs / Rapporteuses : Cédrick Fairon, Philippe Langlais

Mots clés

Mots clés contrôlés

Traitement automatique du langage naturel

Correcteurs de texte (logiciels)

Normes

Mots clés libres

Altérations

Mots inconnus

Résumé

Les messages publiés par les internautes comportent un intérêt stratégique pour les entreprises. Néanmoins, peu d'outils ont été conçus pour faciliter l'analyse de ces messages souvent bruités. Cette thèse, réalisée au sein de l'entreprise viavoo, veut améliorer les résultats d'un outil d'extraction d'information qui fait abstraction de la variabilité flexionnelle. Nous avons ainsi développé une chaîne de traitements pour la normalisation orthographique de textes bruités. Notre approche consiste tout d'abord à déterminer automatiquement, parmi les tokens du corpus traité qui sont inconnus d'un lexique, ceux qui résultent d'altérations et qu'il conviendrait de normaliser, par opposition aux autres (néologismes, emprunts. . . ). Des candidats de normalisation sont alors proposés pour ces tokens à l'aide de règles pondérées obtenues par des techniques d'apprentissage par analogie. Nous identifions ensuite des tokens connus du lexique qui résultent néanmoins d'une altération (fautes grammaticales), et proposons des candidats de normalisation pour ces tokens. Enfin, des modèles de langue permettent de prendre en compte le contexte dans lequel apparaissent les différents types d'altérations pour lesquels des candidats de normalisation ont été proposés afin de choisir les plus probables. Différentes expériences et évaluations sont réalisées sur le français à chaque étape et sur la chaîne complète. Une attention particulière a été portée au caractère faiblement dépendant de la langue des modules développés, ce qui permet d'envisager son adaptation à d'autres langues européennes

The information contained in messages posted on the Internet (forums, social networks, review sites. . . ) is of strategic importance for many companies. However, few tools have been designed for analysing such messages, the spelling, typography and syntax of which are often noisy. This industrial PhD thesis has been carried out within the viavoo company with the aim of improving the results of a lemma-based information retrieval Cool. We have developed a processing pipeline for the normalisation of noisy texts. Its aim is to ensure that each word is assigned the standard spelling corresponding to one of its lemma's inflected forms. First, among all tokens of the corpus that are unknown to a reference lexicon, we automatically determine which ones result from alterations — and therefore should be normalised — as opposed to those that do not (neologisms, loanwords. . . ). Normalisation candidates are then generated for these tokens using weighted rules obtained by analogy¬based machine learning techniques. Next we identify tokens that are known to the reference lexicon but are nevertheless the result of an alteration (grammatical errors), and generate normalisation candidates for each of them. Finally, language models allow us to perform a context-sensitive disambiguation of the normalisation candidates generated for all types of alterations. Numerous experiments and evaluations are carried out on French data for each module and for the overall pipeline. Special attention has been paid to keep all modules as language-independent as possible, which paves the way for future adaptations of our pipeline to other European languages.