Analyse de stratégies d'injection de fautes ciblant des accélérateurs de réseaux de neurones

Analysis of fault injection strategies targeting neural networks accelerators

• Auteur / Autrice : Iban Guinebert
• Direction : Claire Pagetti, Kévin Delmas
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 02/12/2024
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : ISAE-ONERA MOIS MOdélisation et Ingénierie des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : ONERA/DTIS/MITT - Département Traitement de l’Information et Systèmes
• Jury : Président / Présidente : Daniela Dragomirescu
• Jury : Examinateurs / Examinatrices : Claire Pagetti, Katell Morin-Allory, Guy Gogniat, Angeliki Kritikakou, Sébastien Pillement
• Jury : Rapporteurs / Rapporteuses : Katell Morin-Allory, Guy Gogniat
• DOI : 10.70675/94409412z5984z426cza50ez2d7556f89b49

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Électronique

Systèmes informatiques -- Mesures de sûreté

Mots clés libres

Electronique

Sûreté

Réseaux de neurones

Electronics

Neural Network

Safety

Résumé

L'intelligence artificielle basée sur les réseaux de neurones profonds(DNN) est de plus en plus importante dans de multiples domaines d'application, en particulier dans les systèmes critiques où ces algorithmes pourraient être utilisés pour la prise de décision dans des systèmes automatisés voire autonomes. Cependant, pour envisager cette intégration, les réseaux neuronaux ainsi que les composants matériels qui les exécutent doivent répondre à un haut niveau de garanties pour assurer la sécurité des utilisateurs et de l'environnement. L'injection de fautes est une technique largement utilisée pour vérifier et valider un composant qui doit fournir des garanties de sécurité (selon des normes telles que l'ISO 26262).Ce travail se place dans le contexte l'injection de fautes pour les accélérateurs matériels dédiés à l'exécution de réseaux neuronaux.L'objectif est de fournir un formalisme 1) pour raisonner sur la propagation des données dans un accélérateur matériel, et finalement2) pour proposer des campagnes d'injection de fautes précises avec un ensemble limité d'expériences. Nous avons défini une méthodologie basée sur la modélisation formelle de l'architecture matérielle qui identifie les instants et les données vulnérables aux corruptions pendant l'inférence d'un DNN. Cette modélisation permet de tracer dans l'architecture la propagation des corruptions silencieuses des données(SDC) causées par des fautes permanentes de type ''stuck-at'' ou des fautes transitoires de type ''bit-flip''. Elle permet également d'identifier les fautes ayant le même effet sur le système, ce qui aide à construire une relation d'équivalence. Les classes d'équivalence de fautes associées sont utilisées pour calculer une métrique de couverture par rapport à une stratégie d'injection de fautes exhaustive. Le modèle proposé permet d'évaluer les stratégies d'injection de fautes en fonction de leur couverture, afin de déterminer si ces stratégies sont capables de tester toutes les défaillances du système qui pourraient entraîner des pannes dangereuses.Un outil appelé FIXME (Flows Inspector X Modelling hardware Errors) a été développé en SCALA pour calculer efficacement des ensembles de fautes ayant un effet équivalent pour une architecture, ainsi que le taux de couverture des stratégies d'injection.Cette méthode est évaluée sur un type d'accélérateurs de réseaux neuronaux appelés ''streaming'' qui implémente chaque couche d'une topologie de réseau donnée en tant que composant matériel. Les résultats illustrent l'efficacité de la méthode pour identifier précisément les fautes matérielles qui peuvent avoir un effet sur le calcul, et pour calculer efficacement la couverture de n'importe quelle stratégie d'injection de fautes. Cela ouvre la voie à une méthodologie plus avancée pour identifier les composants matériels qui sont cruciaux pour l'exécution d'un réseau de neurones.

Artificial intelligence based on deep neural networks (DNN) isbecoming increasingly important in multiple application domains,particularly in critical systems where these algorithms could be usedfor decision-making in automated or even autonomous systems. However,in order to consider this integration, neural networks as well as thehardware components that execute them must meet a high level ofguarantees to ensure the safety of users and the environment. Faultinjection is a widely used technique to verify and validate acomponent that must provide safety guarantees (according to standardssuch as ISO 26262).This work focuses on the context of fault injection for hardwareaccelerators dedicated to the execution of neural networks. Theobjective is to provide a formalism 1) to reason on the datapropagation in a hardware accelerator, and eventually 2) to proposeaccurate fault injection campaigns with a limited set of experiments.We have defined a methodology based on the formal modelling of thehardware that identifies the instants and the data vulnerable tocorruptions during the inference of a DNN. This modelling allows totrace in the architecture the propagation of silent data corruptions(SDC) caused by either permanent stuck-at or transient bit-flipfaults. It also allows to identify faults with the same effect on thesystem which helps construct an equivalence relation. The associatedfault equivalence classes are used to compute a coverage metric w.r.t.an exhaustive fault injection strategy. The proposed model enables theassessment of fault injection strategies based on their coverage, inorder to determine whether these strategies are able to test allsystem malfunctions that may result in dangerous failures.A tool called FIXME (Flows Inspector X Modelling hardware Errors) hasbeen developed in SCALA to efficiently compute sets of faults withequivalent effect for an architecture, as well as the coverage rate ofinjection strategies.This method is evaluated on a type of neural network acceleratorscalled ''streaming'' which implements each layer of a given networktopology as a hardware component. The results illustrate theeffectiveness of the method in precisely identifying the hardwarefaults that can have an effect on the calculation, and in efficientlycomputing coverage of any fault injection strategy. This paves the wayfor a further methodology to identify the hardware component that arecrucial for a neural network execution.