Contributions à l'évaluation des modèles de langage

par Pierre Alain

Thèse de doctorat en Informatique

Sous la direction de Olivier Boëffard.

Soutenue en 2007

à Rennes 1 .


  • Résumé

    Ces travaux portent sur l'évaluation des modèles de langages en dehors de toute tâche applicative. Le problème d'une étude comparative entre plusieurs modèles est généralement lié à la fonction dans un système complet. Notre objectif consiste au contraire à s'abstraire au maximum des contraintes liées au système, et ainsi pourvoir comparer effectivement les modèles. Le critère le plus couramment admis pour une comparaison de modèles de langage est la perplexité. Ces travaux reprennent les hypothèses du jeu de Shannon, de manière à poser un cadre d'évaluation des modèles de langage fondée sur leur capacité de prédiction. La méthodologie s'intéresse à la prédiction conjointe de mots, et reste indépendante de toute tâche applicative, de la nature du modèle, ainsi que du nombre de paramètres de ce modèle. Des expériences sont menées sur la modélisation du français et de l'anglais à partir de vocabulaires de taille variable, et différents modèles sont mis en concurrence.

  • Titre traduit

    An evaluation framework for language models


  • Résumé

    This work deals with the evaluation of language models independently of any applicative task. A comparative study between several language models is generally related to the role that a model has into a complete system. Our objective consists in being independant of the applicative system, and thus to provide a true comparison of language models. Perplexity is a widely used criterion as to comparing language models without any task assumptions. However, the main drawback is that perplexity supposes probability distributions and hence cannot compare heterogeneous models. As an evaluation framework, we went back to the definition of the Shannon's game which is based on model prediction performance using rank based statistics. Our methodology is able to predict joint word sequences that are independent of the task or model assumptions. Experiments are carried out on French and English modeling with large vocabularies, and compare different kinds of language models.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (VII-164 p.)
  • Notes : Publication autorisée par le jury
  • Annexes : Bibliogr. p. 157-161

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université de Rennes 1. Service commun de la documentation. BU Beaulieu.
  • Disponible pour le PEB
  • Cote : TA RENNES 2007/3
  • Bibliothèque : Centre de recherche INRIA Rennes - Bretagne Atlantique. Service IST.
  • Disponible pour le PEB
  • Cote : I.2.7 - ALA

Cette version existe également sous forme de microfiche :

  • Bibliothèque : Université de Lille. Service commun de la documentation. Bibliothèque universitaire de Sciences Humaines et Sociales.
  • Non disponible pour le PEB
  • Cote : 2007REN1S003
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.