The general aspects of noise in analog hardware deep neural networks

Aspects généraux du bruit dans les réseaux de neurones profonds sur une architecture matérielle analogique

• Auteur / Autrice : Nadezhda Semenova
• Direction : Laurent Larger, Daniel Brunner
• Type : Thèse de doctorat
• Discipline(s) : Optique et photonique
• Date : Soutenance le 17/12/2021
• Etablissement(s) : Bourgogne Franche-Comté en cotutelle avec Saratovskij gosudarstvennyj universitet im. N. G. Černyševskogo (Saratov, Russie)
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : FEMTO-ST : Franche-Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies (Besançon) - Franche-Comté Électronique Mécanique- Thermique et Optique - Sciences et Technologies (UMR 6174) / FEMTO-ST
• Partenaire(s) de recherche : Etablissement de préparation : Université de Franche-Comté (1971-....)
• Jury : Président / Présidente : Hervé Maillotte
• Jury : Examinateurs / Examinatrices : Laurent Larger, Daniel Brunner, Hervé Maillotte, Serge Massar, Damien Querlioz, Miguel Cornelles Soriano
• Jury : Rapporteurs / Rapporteuses : Serge Massar, Damien Querlioz

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones artificiels

Bruit

Réseaux de neurones à propagation avant

Réseaux de neurones récurrents

Statistiques

Artificial neural networks

Noise

Feedforward neural networks

Recurrent neural networks

Statistics

Résumé

Nous étudions et analysons les aspects fondamentaux de la propagation du bruit dans les réseaux neuronaux multicouches récurrents et profonds constitués de réseaux analogiques bruités y compris sur les connexions. Notre étude est donc concernée par la mise en oeuvre de réseaux de neurones directement implémentés sur la couche physique selon un procédé analogique ; la méthodologie permet de comprendre les conséquences de fonctionnement d'un réseaux soumis aux bruits en général. Nous étudions le rapport signal/bruit aux sorties du réseau, ce qui détermine une limite supérieure de la précision de calcul. Nous étudions le bruit additif et multiplicatif, ainsi que le bruit corrélé et non corrélé, et nous développons des méthodes analytiques qui prédisent le niveau de bruit dans n'importe quel type de réseaux de neurones symétriques à propagation vers l'avant. Nous constatons que l'accumulation de bruit est généralement limitée, et que l'ajout de couches supplémentaires du réseau ne détériore pas le rapport signal/bruit au-delà de cette limite. Enfin, nous proposons des stratégies d'atténuation du bruit pour améliorer les performances des réseaux neuronaux.Les résultats analytiques proposés sont ensuite étendus à une application aux entraînements des réseaux de neurones à propagation vers l'avant. A titre d'exemple, nous montrons qu'il y a une bonne correspondance avec des réseaux entraînés pour la reconnaissance de chiffres, la classification d'images de vêtements et la prédiction de séries temporelles chaotiques.Dans cette thèse, nous considérons également les réseaux de neurones récurrents avec des neurones linéaires et nous appliquons les résultats analytiques obtenus aux réseaux de neurones récurrents à valeurs complexes avec des neurones non linéaires, dont la topologie est basée sur une réalisation matérielle dans des circuits photoniques intégrés. Pour ces deux types de réseaux, nous identifions les parties les plus vulnérables aux différents types de bruit, en démontrant que le système a lui-même la possibilité de les supprimer.

We study and analyze the fundamental aspects of noise propagation in recurrent as well as deep, multilayer neural networks comprising noisy analogue neurons as well as noisy connections. The motivations of our study are therefore neural networks implemented in special purpose analog hardware; yet, the methodology provides insight into noisy networks in general. Considering noisy neurons, we investigate the signal-to-noise ratio at the network’s outputs, which determines the upper limit of computational precision. We study additive and multiplicative as well as correlated and uncorrelated noise and develop analytical methods that predict the noise level in any layer of symmetric feedforward neural networks or feedforward neural networks trained with back propagation. We find that noise accumulation is generally bounded, and adding additional network layers does not worsen the signal to noise ratio beyond this limit. Finally, we propose noise mitigation strategies for deep neural networks working for different noise types.The proposed analytical results are then extended for an application to trained feedforward neural networks. As an example, we show that it is in a good correspondence with networks trained for digit recognition, classification of clothing images and prediction of chaotic time series.In this thesis we also consider recurrent neural networks with linear neurons and apply the obtained analytical results to complex-valued recurrent neural networks with nonlinear neurons, whose topology is based on a hardware realization in integrated photonic circuits. For both networks we identify the parts that are most vulnerable to different kinds of noise, and demonstrate that some noise types can be suppressed by the system itself.