Algorithmes paralleles de retropropagation des erreurs pour les reseaux de neurones

par ALAIN PETROWSKI

Thèse de doctorat en Sciences appliquées

Sous la direction de Claude Girault.

Soutenue en 1993

à Paris 6 .

mots clés

Résumé

Parmi les algorithmes d'apprentissage existants pour les reseaux de neurones artificiels, nous avons etudie la parallelisation de la regle d'apprentissage supervise la plus repandue: l'algorithme de retro-propagation des erreurs dans sa forme la plus generale: la regle du gradient stochastique blms. Cette regle partitionne l'ensemble d'apprentissage en un ou plusieurs blocs. Apres chaque bloc presente au reseau, la matrice synaptique est mise a jour jusqu'a ce que le critere d'arret de l'apprentissage soit satisfait. Pour paralleliser l'algorithme blms, deux types de donnees peuvent etre distribuees entre les processeurs disponibles: les exemples composant chaque bloc ou les donnees decrivant le reseau de neurones. De la facon de distribuer les donnees dans le reseau de processeurs dependent le comportement et les performances de l'implantation. Si on ne choisit que de distribuer les exemples de chaque bloc, la taille de blocs doit etre grande pour beneficier de fortes accelerations, mais cela peut alors etre nefaste a la vitesse de convergence de l'apprentissage. Nous montrons qu'il existe une taille de blocs dependant de l'architecture neuronale et du probleme d'apprentissage au-dela de laquelle la parallelisation n'offre plus aucun gain. Si seules les donnees decrivant le reseau de neurones sont distribuees, nous montrons que cela convient certes a tout probleme d'apprentissage mais que les performances de l'implantation dependent fortement de l'architecture neuronale. En nous appuyant sur une modelisation par reseaux de petri de l'algorithme de retro-propagation, nous avons recherche des implantations massivement paralleles qui permettent d'atteindre de bonnes performances presque independamment de l'architecture neuronale meme lorsque la taille de blocs est petite. Apres avoir etudie des problemes generaux tels que le placement, nous proposons plusieurs implantations paralleles. Nous les comparons et nous discutons leurs domaines d'utilisation. Enfin, nous presentons une implantation systolique de l'un de ces algorithmes paralleles convenant a des architectures neuronales quelconques

Titre traduit

Backpropagation parallel algorithms for neural networks

Pas de résumé disponible.