Algorithmes paralleles de retropropagation des erreurs pour les reseaux de neurones

par ALAIN PETROWSKI

Thèse de doctorat en Sciences appliquées

Sous la direction de Claude Girault.

Soutenue en 1993

à Paris 6 .

    mots clés mots clés


  • Résumé

    Parmi les algorithmes d'apprentissage existants pour les reseaux de neurones artificiels, nous avons etudie la parallelisation de la regle d'apprentissage supervise la plus repandue: l'algorithme de retro-propagation des erreurs dans sa forme la plus generale: la regle du gradient stochastique blms. Cette regle partitionne l'ensemble d'apprentissage en un ou plusieurs blocs. Apres chaque bloc presente au reseau, la matrice synaptique est mise a jour jusqu'a ce que le critere d'arret de l'apprentissage soit satisfait. Pour paralleliser l'algorithme blms, deux types de donnees peuvent etre distribuees entre les processeurs disponibles: les exemples composant chaque bloc ou les donnees decrivant le reseau de neurones. De la facon de distribuer les donnees dans le reseau de processeurs dependent le comportement et les performances de l'implantation. Si on ne choisit que de distribuer les exemples de chaque bloc, la taille de blocs doit etre grande pour beneficier de fortes accelerations, mais cela peut alors etre nefaste a la vitesse de convergence de l'apprentissage. Nous montrons qu'il existe une taille de blocs dependant de l'architecture neuronale et du probleme d'apprentissage au-dela de laquelle la parallelisation n'offre plus aucun gain. Si seules les donnees decrivant le reseau de neurones sont distribuees, nous montrons que cela convient certes a tout probleme d'apprentissage mais que les performances de l'implantation dependent fortement de l'architecture neuronale. En nous appuyant sur une modelisation par reseaux de petri de l'algorithme de retro-propagation, nous avons recherche des implantations massivement paralleles qui permettent d'atteindre de bonnes performances presque independamment de l'architecture neuronale meme lorsque la taille de blocs est petite. Apres avoir etudie des problemes generaux tels que le placement, nous proposons plusieurs implantations paralleles. Nous les comparons et nous discutons leurs domaines d'utilisation. Enfin, nous presentons une implantation systolique de l'un de ces algorithmes paralleles convenant a des architectures neuronales quelconques


  • Pas de résumé disponible.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 210 P.
  • Annexes : 87 REF.

Où se trouve cette thèse ?

  • Bibliothèque : Université Pierre et Marie Curie. Bibliothèque Universitaire Pierre et Marie Curie . Section Mathématiques-Informatique Recherche.
  • Non disponible pour le PEB
  • Cote : T Paris 6 1993 200
  • Bibliothèque : Centre Technique du Livre de l'Enseignement supérieur (Marne-la-Vallée, Seine-et-Marne).
  • Disponible pour le PEB
  • Cote : PMC RT P6 1993
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.