Exploration de techniques d'apprentissage pour l'edge AI exploitant des mémoires non-volatiles

Exploring learning techniques for edge AI taking advantage of non-volatile memories

• Auteur / Autrice : Michele Martemucci
• Direction : Sylvain Saïghi
• Type : Thèse de doctorat
• Discipline(s) : Electronique
• Date : Soutenance le 09/12/2024
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Jury : Président / Présidente : Jean-Michel Portal
• Jury : Examinateurs / Examinatrices : Adrien F. Vincent, Simon Jeannot
• Jury : Rapporteurs / Rapporteuses : Melika Payvand, Ian O'Connor
• DOI : 10.70675/ec79fa4cz56b6z4c04z86b9zd771c8285800

Mots clés

Mots clés contrôlés

Mémoires non-volatiles à accès sélectif

Réseaux neuronaux (informatique)

Circuits intégrés

Mots clés libres

Mémoire non-Volatile

Réseaux de neurones artificiels

IC design

Non-Volatile memory

Artificial neural networks

IC design

Résumé

Les systèmes embarqués d'intelligence artificielle (IA) capables d'apprentissage nécessitent à la fois des capacités d'inférence et d'apprentissage, tout en étant écoénergétiques. Cependant, aucune technologie de mémoire existante n'intègre pleinement toutes les caractéristiques souhaitées pour ces systèmes. Les mémoires résistives - memristors - sont idéales pour l'inférence, mais souffrent d'une endurance limitée et d'une consommation énergétique élevée lors de la programmation. En revanche, les condensateurs ferroélectriques (FeCAPs) sont adaptés pour l'apprentissage, mais leur processus de lecture, qui détruit la donnée stockée, les rend inadaptés à l'inférence. Un même dispositif à base d'hafnia peut être optimisé pour fonctionner soit comme un FeCAP, soit comme un memristor, selon ses conditions d'exploitation. Un tel dispositif à double usage a été réalisé au cours de cette thèse en intégrant un film de 10 nm d'oxyde d'hafnium dopé au silicium, recouvert d'une couche de titane, entre deux couches de métallisation d'une technologie CMOS du nœud 130 nm.Un circuit intégré utilisant cette technologie de mémoire hybride a été validé expérimentalement. Il inclut à la fois des FeCAPs et des memristors dans le même back-end-of-line du procédé CMOS 130 nm, créant un réseau hybride de FeCAPs et de memristors interconnectés. Cette matrice hybride permet un transfert direct de données depuis plusieurs cellules FeCAP vers un seul memristor, sans circuit intermédiaire. Cette technologie est compatible avec un entraînement par descente de gradient stochastique de réseaux de neurones artificiels embarqués. Les FeCAPs stockent des poids de plus grande précision pour l'apprentissage, tandis que les memristors stockent des poids analogiques pour l'inférence et l'apprentissage. Les poids cachés (FeCAPs) sont mis à jour pour chaque échantillon, tandis que les poids analogiques (memristors) sont mis à jour tous les k entrées via le processus de transfert. Deux versions d'implémentation de ce système ont été proposées. La première, utilisant des FeCAPs de même taille pour stocker des poids de plus haute précision et un memristor pour le poids analogique, a des capacités d'apprentissage limitées. La seconde implémentation utilise des FeCAPs de différentes tailles pour coder un poids entier de 10 bits, tandis que deux memristors encodent des poids analogiques positifs et négatifs dans leur conductance différentielle. Cette méthode atteint une précision élevée tout en réduisant considérablement la consommation énergétique par poids lors de la programmation. Le nombre d'opérations reste bien en dessous des limites d'endurance des memristors et des FeCAPs. L'évaluation de la robustesse aux erreurs, évaluée en fonction des mesures de transfert analogique, montre des performances comparables aux modèles logiciels à précision flottante sur plusieurs benchmarks.Pour aller plus loin, un second circuit, plus modulable, a été conçu et fabriqué en technologie CMOS 22 nm pour explorer les avantages de la combinaison des dispositifs de mémoire ferroélectrique et résistive pour l'inférence et l'apprentissage dans les réseaux de neurones binaires (BNNs). Ce design utilise des matrices de mémoire ferroélectrique pour stocker des poids cachés de haute précision, au format entier ou flottant, avec des largeurs de bits de 8 bits ou multiples. Les mémoires résistives, stockant les poids binaires en configuration différentielle à travers deux dispositifs, sont utilisés pour effectuer du calcul proche-mémoire pour l'implémentation de la multiplication matrice-vecteur dans les BNNs. Les simulations électriques du circuit atteignent une consommation énergétique de multiplication binaire d'environ 100 fJ, avec un potentiel de réduction à quelques dizaines de fJ. Plusieurs stratégies algorithmiques sont envisagées en utilisant ce design de circuit, ouvrant la voie à des dispositifs embarqués capables d'apprentissage pour des applications d'IA.

Learning-capable edge artificial intelligence (AI) systems require both inference and learning capabilities combined with energy efficiency. However, no existing memory technology fully integrates all the desirable features for these systems. Resistive memory - memristor - arrays are ideal for AI inference but suffer from limited endurance and high programming energy. In contrast, ferroelectric capacitors (FeCAPs) are effective for learning, but their data-destructive read process makes them incompatible for inference. The same hafnium-based device can be optimized to function either as a FeCAP or as a memristor, depending on its operating conditions. Such a dual-use device was developed during this thesis by integrating a 10 nm film of silicon-doped hafnium oxide, with a titanium oxygen-scavenging layer, between two metal layers of a 130 nm CMOS process.An application-specific integrated circuit using this hybrid memory technology was experimentally validated. It includes both FeCAPs and memristors in the back-end-of-line of foundry 130 nm CMOS, creating a hybrid array of interconnected FeCAPs and memristors. This hybrid array enables direct data transfer from multiple FeCAP cells to a single memristor device without intermediate circuits. This technology is compatible with on-chip training of artificial neural networks with stochastic gradient descent. FeCAPs store higher-precision weights for training, while memristors store analog weights for both inference and training. Hidden weights (FeCAPs) are updated for each sample, while analog weights (memristors) are updated every k inputs via the transfer process. Two system implementations were proposed. The first, using equally sized FeCAPs to store higher-precision weights and a single memristor for the analog weight, has limited learning capabilities. The second implementation uses FeCAPs with different areas to encode a 10-bit integer higher-precision weight, while two memristors encode positive and negative analog weights through their differential conductance. This method achieves high accuracy while significantly reducing energy consumption per weight during programming. The number of operations remains well below the endurance limits of memristors and FeCAPs. The evaluation of error robustness, assessed based on analog transfer measurements, shows performance comparable to floating-point precision software models across several benchmarks.To go further, a second, more flexible circuit was designed and manufactured in a 22 nm CMOS technology to explore the benefits of combining ferroelectric and resistive memory devices for inference and training in binarized neural networks (BNNs). This design utilizes ferroelectric memory arrays to store higher-precision hidden weights in either integer or floating-point formats, with bit-widths of 8 bits or multiples thereof. Resistive memories, which store binary weights in a differential configuration across two devices, are used to perform near-memory computation for implementing matrix-vector multiplication in BNNs. Electrical simulations of the circuit achieve an energy consumption of approximately 100 fJ for binary multiplication, with the potential for reduction to a few tens of fJ. Several algorithmic strategies are envisioned using this circuit design, paving the way for devices capable of learning for edge AI applications.