Optimisation Automatique des Applications d'Apprentissage Profond sur Plateformes Matérielles Edges

Efficient Hardware-aware Neural Architecture Search for Edge Computing

• Auteur / Autrice : Hadjer Benmeziane
• Direction : Smaïl Niar, Kaoutar El Maghraoui, Hamza Ouarnoughi
• Type : Thèse de doctorat
• Discipline(s) : Intelligence artificielle et Systèmes embarqués
• Date : Soutenance le 30/08/2023
• Etablissement(s) : Valenciennes, Université Polytechnique Hauts-de-France
• Ecole(s) doctorale(s) : École doctorale polytechnique Hauts-de-France (Valenciennes, Nord ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'automatique, de mécanique et d'informatique industrielles et humaines (Valenciennes, Nord ; 1994-...)
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national des sciences appliquées Hauts-de-France (Valenciennes, Nord ; 2019-....)
• Jury : Président / Présidente : Liliana Cucu
• Jury : Examinateurs / Examinatrices : Smaïl Niar, Kaoutar El Maghraoui, Hamza Ouarnoughi, Muhammad Shafique, Gilles Sassatelli
• Jury : Rapporteurs / Rapporteuses : Muhammad Shafique, Gilles Sassatelli

Mots clés

Mots clés contrôlés

Imagerie médicale

Réseaux neuronaux (informatique)

Apprentissage profond

Mots clés libres

Apprentissage profond

Optimisation

Contraintes mat´erielles

Deep Learning

Neural Architecture Search

Hardware-Constraints

Optimization

Edge AI

Résumé

Les modèles d'inférence basés sur les réseaux neuronaux profonds (eng, Deep Neural Networks (DNN)) sont largement utilisés dans de nombreuses platesformes de périphérie pour plusieurs raisons. Premièrement, les DNN ont démontré des performances exceptionnelles dans diverses tâches complexes telles que la reconnaissance d'images, le traitement du langage naturel et la synthèse vocale. Leur capacité à extraire des caractéristiques significatives à partir de grands ensembles de données leur permet d'atteindre des niveaux élevés de précision et de puissance prédictive, ce qui les rend indispensables pour une large gamme d'applications. Deuxièmement, le déploiement de ces modèles directement sur les plateformes de périphérie offre plusieurs avantages. L'exécution du processus d'inférence localement sur les dispositifs de périphérie réduit la dépendance à l'égard du calcul basé sur le cloud, réduisant ainsi la latence du réseau et garantissant une réactivité en temps réel.Cependant, les plateformes de périphérie fonctionnent souvent dans des environnements contraints en ressources, caractérisés par une puissance de calcul limitée, des contraintes énergétiques et une connectivité intermittente. Les modèles DNN sont inadaptés à de telles plateformes. Cela a encouragé la recherche sur la conception automatique d'architectures neuronales adaptées à ces dispositifs. Cette méthode est appelée recherche d'architecture neuronale à contraintes matérielles (Hardware-aware Neural Architecture Search, HW-NAS). HW-NAS est la pierre angulaire de cette thèse. HW-NAS peut fournir des modèles à la fois efficaces et précis. Cette thèse vise à accélérer et à généraliser l'applicabilité de HW-NAS à de nombreuses plateformes et à plusieurs tâches.En particulier, cette thèse propose des solutions novatrices pour estimer rapidement l'efficacité d'un DNN déployé sur une plateforme matérielle cible. Notre approche HW-NAS proposée englobe des techniques d'optimisation multi-objectifs, ce qui accélère considérablement le processus de recherche à la fois dans les espaces de recherche basés sur les supernetworks et les cellules. Dans le contexte multi-objectif de HW-NAS, des objectifs conflictuels, tels que les performances spécifiques à la tâche (par exemple, la précision) et l'efficacité matérielle (par exemple, la latence et la consommation d'énergie), doivent être optimisés simultanément. Pour relever ce défi, nous définissons un nouvel objectif de rang de Pareto. En incorporant des objectifs multiples et des principes d'optimisation de Pareto, notre approche permet l'exploration des compromis entre les performances spécifiques à la tâche et l'efficacité matérielle.Nous examinons également le biais humain induit par les espaces de recherche actuels et proposons un espace de recherche non restrictif pour trouver de nouveaux opérateurs adaptés à une plate-forme matérielle cible. Ces méthodes ont été validées sur des référentiels de classification d'images.Dans la seconde partie de la thèse, nous montrons l'utilité de nos méthodes dans des scénarios réels.Premièrement, comment appliquer HW-NAS à de nouvelles architectures matérielles, notamment les matériels de calcul analogiques en mémoire, ou in-memory analog devices. Nous proposons donc un HW-NAS dédié à ces plateformes, et nous déduisons les charactérstiques qui différent un réseaux de neuronnes déployé sur ces plateformes, d'un autre déployé sur des plateformes classiques.Enfin, nous construisons une référence de recherche d'architectures neuronales pour l'imagerie médicale qui inclut des architectures pour 11 tâches, notamment la detection de tumeurs, la segmentation du foie et l'estimation du volume de l'hippocampe. En utilisant ce référence, nous proposons un nouveau HW-NAS qui inclut non seulement l'exactitude et la latence en tant qu'objectifs, mais cherche également une architecture généralisable qui peut être affinée pour des tâches médicales inconnues.

It is widely anticipated that inference models based on Deep Neural Networks (DNN) will be actively employed in many edge platforms due to several compelling reasons. Firstly, DNNs have demonstrated exceptional performance in various complex tasks such as image recognition, natural language processing, and speech synthesis. Their ability to extract meaningful features from large datasets enables them to achieve high levels of accuracy and predictive power, making them indispensable for a wide range of applications.Secondly, deploying DNN-based inference models directly on edge platforms offers several advantages. Executing the inference process locally on edge devices, reduces the reliance on cloud-based computing, thereby minimizing network latency and ensuring real-time responsiveness. This is particularly crucial for time-sensitive applications, such as autonomous vehicles, smart surveillance systems, and Internet of Things (IoT) devices, where rapid decision-making is paramount.Furthermore, employing DNN inference at the edge enhances privacy and security. By keeping sensitive data within the edge device's local environment, rather than transmitting it to external servers, the risk of data breaches and privacy violations is significantly reduced. This is of utmost importance in scenarios involving personal data, healthcare information, or confidential business data, where preserving privacy and data sovereignty is imperative.However, edge platforms often operate under resource-constrained environments, characterized by limited computational power, energy constraints, and intermittent connectivity. DNN models are increasingly larger, making them unfit for such platforms.This has promoted research in automatically designing neural architectures through search for such devices. This method is called Hardware-aware Neural Architecture Search (HW-NAS). This optimization can lead to reduced energy consumption, lower inference latency, and overall improved performance on edge platforms.HW-NAS is the cornerstone of this thesis. HW-NAS can provide both efficient and accurate, customized models for the target platform. However, conventional frameworks present many challenges. This thesis aims at accelerating and generalizing HW-NAS applicability to many platforms and multiple tasks.In particular, this thesis introduces innovative solutions to rapidly estimate the efficiency of DNN for a target HW platform. Our proposed HW-NAS approach encompasses multi-objective optimization techniques, significantly accelerating the search process within both supernetwork-based and cell-based search spaces.Within the multi-objective context of HW-NAS, conflicting objectives, such as task-specific performance (e.g., accuracy) and hardware efficiency (e.g., latency and energy consumption), need to be optimized simultaneously. To address this challenge, we define a novel Pareto rank target, leveraging diverse surrogate models employed in HW-NAS. By incorporating multiple objectives and Pareto optimization principles, our approach enables the exploration of trade-offs between task-specific performance and hardware efficiency, ultimately facilitating the identification of superior neural architectures.We also investigate the human bias induced by current search spaces and propose a non-restrictive search space to find novel operators tailored to a target hardware platform. These methods were validated on image classification benchmarks. We then show how to apply HW-NAS for novel hardware architectures, namely analog in-memory computing hardware.Finally, we construct a medical imaging NAS benchmark that includes architectures for 11 tasks, including their performance, latency, and energy consumption on several devices, and propose a novel HW-NAS that not only includes accuracy and latency as objectives but also looks for a generalizable architecture that can be fine-tuned for unseen medical tasks.