Etude de proprietes d'apprentissage supervise et non supervise par des methodes de physique statistique

par ARNAUD BUHOT

Thèse de doctorat en Sciences appliquées

Sous la direction de Mirta B. Gordon.

Soutenue en 1999

à Grenoble 1 .

    mots clés mots clés


  • Résumé

    L'objet de cette these est l'etude de diverses proprietes d'apprentissage a partir d'exemples par des methodes de physique statistique, notamment, par la methode des repliques. Des taches supervisees, correspondant a la classification binaire de donnees, ainsi que des taches non supervisees, comme l'estimation parametrique d'une densite de probabilite, sont considerees. Dans la premiere partie, une approche variationnelle permet de determiner la performance de l'apprentissage optimal d'une direction d'anisotropie, et de deduire une fonction de cout permettant d'obtenir ces performances optimales. Dans le cas de l'apprentissage supervise d'une tache lineairement separable, des simulations numeriques confirmant nos resultats theoriques ont permis de determiner les effets de taille finie. Dans le cas d'une densite de probabilite constituee de deux gaussiennes, la performance de l'apprentissage optimal presente de nombreuses transitions de phases en fonction du nombre de donnees. Ces resultats soulevent une controverse entre la theorie variationnelle et l'approche bayesienne de l'apprentissage optimal. Dans la deuxieme partie, nous etudions deux approches differentes de l'apprentissage de taches de classification complexes. La premiere approche consideree est celle des machines a exemples supports. Nous avons etudie une famille de ces machines pour laquelle les separateurs lineaire et quadratique sont deux cas particuliers. La capacite, les valeurs typiques de la marge et du nombre d'exemples supports, sont determinees. La deuxieme approche consideree est celle d'une machine de parite apprenant avec un algorithme incremental. Cet algorithme construit progressivement un reseau de neurones a une couche cachee. La capacite theorique obtenue pour l'algorithme considere est proche de celle de la machine de parite.


  • Pas de résumé disponible.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 144 P.
  • Annexes : 132 REF.

Où se trouve cette thèse ?

  • Bibliothèque : Service interétablissements de Documentation (Saint-Martin d'Hères, Isère). Bibliothèque universitaire de Sciences.
  • Disponible pour le PEB
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.