Méthodes spectrales pour l'inférence grammaticale probabiliste de langages stochastiques rationnels

• Auteur / Autrice : Raphaël Bailly
• Direction : François Denis
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/12/2011
• Etablissement(s) : Aix-Marseille 1
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques et Informatique de Marseille (Marseille ; 1994-....)
• Jury : Président / Présidente : Rémi Gilleron
• Jury : Examinateurs / Examinatrices : François Denis, Colin de La Higuera, Amaury Habrard, Jean-Christophe Janodet
• Jury : Rapporteurs / Rapporteuses : Alexander Clark, Jose Oncina

Mots clés

Mots clés contrôlés

Algorithmes

Inférence

Langages de programmation

Mots clés libres

Inférence grammaticale

Estimation de densité non-paramétrique

Grammatical inference

Non-parametric density estimation

Résumé

Nous nous plaçons dans le cadre de l’inférence grammaticale probabiliste. Il s’agit, étant donnée une distribution p sur un ensemble de chaînes S∗ inconnue, d’inférer un modèle probabiliste pour p à partir d’un échantillon fini S d’observations supposé i.i.d. selon p. L’inférence gram- maticale se concentre avant tout sur la structure du modèle, et la convergence de l’estimation des paramètres. Les modèles probabilistes dont il sera question ici sont les automates pondérés, ou WA. Les fonctions qu’ils modélisent sont appelées séries rationnelles. Dans un premier temps, nous étudierons la possibilité de trouver un critère de convergence absolue pour de telles séries. Par la suite, nous introduirons un type d’algorithme pour l’inférence de distributions rationnelles (i.e. distributions modélisées par un WA), basé sur des méthodes spectrales. Nous montrerons comment adapter cet algorithme pour l’appliquer au domaine, assez proche, des distributions sur les arbres. Enfin, nous tenterons d’utiliser cet algorithme d’inférence dans un contexte plus statistique d’estimation de densité.

Our framework is the probabilistic grammatical inference. That is, given an unknown distribution p on a set of string S∗ , to infer a probabilistic model for p from a sample S of observations assumed to be i.i.d. according to p. Grammatical inference focuses primarily on the structure of the probabilistic model, and the convergence of parameter estimate. Probabilistic models which will be considered here are weighted automata, or WA. The series they model are called rational series. Initially, we study the possibility of finding an absolute convergence criterion for such series. Subsequently, we introduce a algorithm for the inference of rational distrbutions (i.e. distributions modeled by WA), based on spectral methods. We will show how to fit this algorithm to the domain, fairly close, of rational distributions on trees. Finally, we will try to see how to use the spectral algorithm in a more statistical way, in a density estimation task.