Le passage à l'échelle des analyses statiques de réseaux de neurones à l'aide de formes affines

Scaling up the static analysis of neural networks using affine forms

• Auteur / Autrice : Asma Soualah
• Direction : Matthieu Martel, Arnault Ioualalen
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/10/2024
• Etablissement(s) : Perpignan
• Ecole(s) doctorale(s) : École doctorale Énergie environnement (Perpignan ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Modélisation pluridisciplinaire et simulations (Perpignan)
• Jury : Président / Présidente : Claire Pagetti
• Jury : Examinateurs / Examinatrices : Khalil Ghorbal, Mikaël Barboteu
• Jury : Rapporteurs / Rapporteuses : Thibault Hilaire

Mots clés

Mots clés contrôlés

Apprentissage automatique

Optimisation mathématique

Scalabilité (informatique)

Logiciels -- Vérification

Réseaux neuronaux (informatique)

Mots clés libres

Intelligence artificielle

Analyse statique

Interprétation abstraite

Scalabilité

Optimisation du temps d'analyse

Artificial Intelligence

Static Analysis

Abstract Interpretaion

Scalability

Analysis time optimization

Résumé

Les formes affines, qui sont une extension de l'arithmétique des intervalles, ont été utilisées avec succès pour évaluer la robustesse des réseaux de neurones et expliquer leurs décisions. Elles sont bien adaptées à ce domaine car elles capturent les relations linéaires entre les variables étant donné que les réseaux de neurones effectuent en majorité des calculs affines. Cependant, un inconvénient majeur de ces formes utilisées dans le contexte des réseaux de neurones, c'est qu'elles consomment beaucoup de temps et de mémoire, ce qui rend la vérification des réseaux de taille industrielle difficile voire impossible. Dans cette thèse, nous introduisons deux nouvelles approches pour surmonter ces limitations: affine compressée, qui fusionne plusieurs symboles de bruit en un seul tout en garantissant la solidité des calculs. Le bruit par bloc, qui simule des situations réelles où des parties particulières d'une image sont perturbées en insérant des symboles de bruit non nuls uniquement dans une section donnée de l'image. Ces méthodes permettent d'évaluer la résilience des réseaux de neurones à ces perturbations tout en préservant leur évolutivité et leur précision. Les deux méthodes ont été implémentées dans un outil nommé, NNAFF, et les résultats expérimentaux ont démontré leur efficacité, trouvant un équilibre entre précision et temps d'exécution.

Affine forms, which are an extension of interval arithmetic, have been successfully used to assess the robustness of neural networks as well as to explain their decisions. They are well-suited to this application domain since they capture affine relations between variables and since neural networks mostly perform affine computations. However, a drawback is that affine forms are time and memory consuming, making the verification of industrial-size neural network difficult or impossible. In this thesis, we introduce two new approaches to overcome these limitations. Affine compressed, merged serval noise symbols into a single noise symbol in a way that ensures the soundness of the computations. Block-wise noising simulates real-world situations in which particular portions of an image are disrupted by inserting non-zero noise symbols only inside a given section of the image. Using this methods, it is possible to assess neural networks resilience to these disturbances while preserving scalability and accuracy. Both methods have been implemented in a tool named, NNAFF. The experimental results have demonstrated the effectiveness of these methods, striking a balance between precision and execution time.