Méthodes en caractères pour le traitement automatique des langues

par Etienne Denoual

Thèse de doctorat en Informatique

Sous la direction de Christian Boitet et de Yves Lepage.

Soutenue en 2006

à l'Université Joseph Fourier (Grenoble) .


  • Résumé

    Le traitement automatique des langues fondé sur les données a récemment assimilé de nombreuses techniques et perspectives héritées du domaine de la reconnaissance de parole. Parmi celles-ci, les méthodes qui utilisent le mot comme unité de traitement sont difficilement transposables aux systèmes d'écriture sans séparateur orthographique, et ne sont donc pas multilingues. Le présent travail promeut l'utilisation de méthodes travaillant au niveau du signal de l'écrit: le caractère, unité immédiatement accessible dans toute langue informatisée, permet de se passer de segmentation en mots, étape actuellement incontournable pour des langues comme le chinois ou le japonais. Dans un premier temps, nous transposons et appliquons en caractères une méthode bien établie d'évaluation objective de la traduction automatique, BLEU. Les résultats encourageants nous permettent dans un deuxième temps d'aborder d'autres tâches de traitement des données linguistiques. Tout d'abord, le filtrage de la grammaticalité; ensuite, la caractérisation de la similarité et de l'homogénéité des ressources linguistiques. Dans toutes ces tâches, le traitement en caractères obtient des résultats acceptables, et comparables à ceux obtenus en mots. Dans un troisième temps, nous abordons des tâches de production de données linguistiques: le calcul analogique sur les chaines de caractères permet la production de paraphrases aussi bien que la traduction automatique. Ce travail montre qu'on peut construire un système complet de traduction automatique ne nécessitant pas de segmentation, a fortiori pour traiter des langues sans séparateur orthographique.


  • Pas de résumé disponible.

  • Titre traduit

    Character-based methods for natural language processing


  • Résumé

    Data-driven natural language processing has integrated a number of techniques and viewpoints from the field of speech recognition. In particular, the use of the word unit makes it difficult to transpose methods to languages with no orthographic separators. Such methods may not be applied in a multilingual context. The present work aims at universal and multilingual methods, and therefore promotes the use of character-based methods for natural language processing. Although the word based processing of non-segmenting languages such as Chinese or Japanese requires a segmentation step, using the character, an immediately accessible unit in all languages in their electronic form, makes it unnecessary. We first transposed to character units a well-known automatic evaluation measure for machine translation, BLEU. The satisfying results obtained on BLEU lead us to consider other tasks in the field of linguistic data processing: grammatical filtering, and data profiling of the similarity and homogeneity of linguistic resources. Character based processing lead to satisfying results, comparable to those obtained when using words. Last, we considered tasks in data generation: proportional analogy on character strings allows the automatic generation of paraphrases, as well as machine translation (MT). This work shows that a complete MT system may be built which does not require any segmentation of linguistic data, and which may therefore handle non-segmenting languages with no preprocessing.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (186 p.)
  • Notes : Publication autorisée par le jury
  • Annexes : Bibliogr. p. 177-186

Où se trouve cette thèse ?

  • Bibliothèque : Service interétablissements de Documentation (Saint-Martin d'Hères, Isère). Bibliothèque universitaire de Sciences.
  • Non disponible pour le PEB
  • Cote : TS06/GRE1/0098
  • Bibliothèque : Service interétablissements de Documentation (Saint-Martin d'Hères, Isère). Bibliothèque universitaire de Sciences.
  • Disponible pour le PEB
  • Cote : TS06/GRE1/0098/D
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.