Machine learning based wearable multi-channel electromyography : application to bionics and biometrics

par Sherif Mohamed Said

Thèse de doctorat en Signal, Image, Automatique

Sous la direction de Amine Nait-Ali.

Soutenue le 15-12-2020

à Paris Est , dans le cadre de École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication , en partenariat avec LISSI - Laboratoire Images, Signaux et Systèmes Intelligents (laboratoire) et de Laboratoire Images- Signaux et Systèmes Intelligents / LISSI (laboratoire) .

Le président du jury était Patrick Siarry.

Le jury était composé de Amine Nait-Ali, Mouloud Adel, Régine Le Bouquin Jeannès, Samer Al Kork.

Les rapporteurs étaient Mouloud Adel, Régine Le Bouquin Jeannès.

  • Titre traduit

    Apprentissage machine d’un modèle d’électromyographie de surface : application en bionique et en biométrie


  • Résumé

    Les technologies portables ont été largement utilisées au cours des dernières décennies dans les applications de bio-ingénierie. Dans le cadre de nos travaux de thèse, un bracelet portable permettant l’acquisition sans fils de signaux d’électromyogramme de surface (sEMG) a été utilisé dans une étude de recherche, afin de : (1) contrôler une prothèse bionique que nous avons nous-même conçu, (2) contrôler, entre autres, les accès aux ressources par vérification biométrique. La première contribution est liée au domaine de la santé, alors que la deuxième contribution relève de l’aspect sécuritaire.Dans le contexte de l’application bionique, nos expérimentations nous ont menés à collecter chez 23 sujets sains, des signaux sEMG (320 au total) servant à entrainer un modèle de reconnaissance de gestes que l’on a validé sur un sujet présentant un handicap (bras amputé). En termes de traitement de données, de nombreux classifieurs d'apprentissage automatique ont été évalués. Ainsi, le classifieur de machine à vecteur de support (SVM) s'est avéré prometteur au regard du taux de classification atteint (89,93%).Par ailleurs, dans la deuxième contribution, nous avons étudié la possibilité d’utiliser les signaux sEMG multicanaux (collectés par bracelet EMG sans fils) comme modalité biométrique pour la vérification et l’identification des individus. Dans ce contexte, nous avons construit une base de données de signaux sEMG multicanaux (8960 au total) en impliquant 56 sujets volontaires. Chaque sujet effectue une combinaison spécifique de gestes de la main générant ainsi des signaux EMG dont le code permet de former un mot de passe. Lorsque l’on considère la vérification des utilisateurs, des signatures sont extraites, à la fois du domaine fréquentiel et du domaine temporel. Ainsi, dans nos travaux, trois classifieurs ont été considérés, à savoir : K-plus proches voisins (KNN), analyse de discernement linéaire (LDA) et méthodes ensemblistes. Les résultats montrent que le KNN présente une précision de 97,4%, FAR de 0% et un FRR de 2,9%.Quant à l’identification biométrique, trois classifieurs sont également utilisés pour classer les données : KNN, LDA et méthodes ensemblistes. Le meilleur résultat en termes de performance moyenne atteint 86,01% par KNN.Dans la dernière partie de cette thèse, nous avons considéré des approches d’apprentissage profond en procédant à l'augmentation des données. Ainsi, les Réseaux de Neurones Convolutifs (CNN) sont entraînés à partir de scalogrammes d’EMG, conduisant ainsi, en mode vérification à une performance de 98,31% avec un FAR= 1% et un FRR=7,1%. Enfin, en mode identification, deux architectures CNN ont été appliquées (squeeze-net et structure Alex-net). Les résultats nous ont permis d’atteindre 81,84% avec (squeeze-net).


  • Résumé

    Over the last few decades, wearable technologies have been extensively used in bioengineering applications. In this thesis, a Multi-channel sEMG wearable armband has been used: (1) to control a 3D bionic arm, we have designed, (2) for access control system in biometrics. The first application is related to bionics, whereas the second application is related to security field.Regarding our first contribution, 320 EMG signals have been collected from 23 volunteer subjects where the purpose was to train an EMG based gesture recognition model. The bionic control approach has been validated and optimized for a right arm amputee. In terms of processing, numerous Machine-Learning classifiers have been applied. It has been found that Support Vector Machine classifier exhibit 89.93% success rate.On the other hand, in the second contribution, we explored new experiments where the application consists of using EMG signals for both verification and identification purposes. More specifically, each subject is asked to perform a sequence of specific hand gestures. Each hand gesture allows the generation of one character of a global signature (i.e. password). Therefore, when considering verification mode, features are extracted from the EMG signals in both frequency and time domain. Three classifiers have been used, namely: K-nearest Neighbors (KNN), Linear Discernment Analysis (LDA), and Ensemble of Classifiers. Results show that the KNN classifier allows a performance of 97.4%, FAR= 0% and an FRR=2.9%. While in user’s identification system, three previous classifiers have been considered as well. Experiments show that best performances (accuracy is 86.01%) have been obtained using KNN.In this thesis, Deep-learning approach has been considered by achieving what is known by “Data augmentation”. Therefore, Convolutional Neural Network (CNN) is used to train the model from EMG scalograms. When considering verification mode, performances of 98.31% with FAR=1% and FRR =7.1%, has been reached. On the other hand, in identification case, two CNN structures have been evaluated, namely squeeze-net structure and Alex-net structure. Results show that squeeze-net allows a promising performance of 81.84%.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Communautés d’Universités et d'Etablissements Université Paris-Est. Bibliothèque universitaire.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.