On pattern classification in motor imagery-based brain-computer interfaces

par Sami Dalhoumi

Thèse de doctorat en Informatique

Sous la direction de Jacky Montmain.

Soutenue le 19-11-2015

à Montpellier , dans le cadre de I2S - Information, Structures, Systèmes , en partenariat avec LGI2P - Laboratoire de Génie Informatique et d'Ingénierie de Production - Ecole des Mines d'Alès (laboratoire) .

Le président du jury était Stéphane Perrey.

Le jury était composé de Jacky Montmain, Stéphane Perrey, Antoine Cornuéjols, François Cabestaing, Gérard Dray, Jérôme Boudy.

Les rapporteurs étaient Antoine Cornuéjols, François Cabestaing.

  • Titre traduit

    Méthodes d'apprentissage automatique pour les interfaces cerveau-machine basées sur l'imagerie motrice


  • Résumé

    Une interface cerveau-machine (ICM) est un système qui permet d'établir une communication directe entre le cerveau et un dispositif externe, en contournant les voies de sortie normales du système nerveux périphérique. Différents types d'ICMs existent dans la littérature. Parmi eux, les ICMs basées sur l'imagerie motrice sont les plus prometteuses. Elles sont basées sur l'autorégulation des rythmes sensorimoteurs par l'imagination de mouvement des membres différents (par exemple, imagination du mouvement de la main gauche et la main droite). Les ICMs basées sur l'imagerie motrice sont les meilleurs candidats pour les applications dédiées à des patients sévèrement paralysés mais elles sont difficiles à mettre en place parce que l'autorégulation des rythmes du cerveau n'est pas une tâche simple.Dans les premiers stades de la recherche en ICMs basées sur l'imagerie motrice, l'utilisateur devait effectuer des semaines, voire des mois, d'entrainement afin de générer des motifs d'activité cérébrale stables qui peuvent être décodés de manière fiable par le système. Le développement des techniques d'apprentissage automatique supervisé spécifiques à chaque utilisateur a permis de réduire considérablement la durée d'entrainement en ICMs. Cependant, ces techniques sont toujours confrontées aux problèmes de longue durée de calibrage et non-stationnarité des signaux cérébraux qui limitent l'utilisation de cette technologie dans la vie quotidienne. Bien que beaucoup de techniques d'apprentissage automatique avancées ont été essayées, ça reste toujours pas un problème non résolu.Dans cette thèse, j'étudie de manière approfondie les techniques d'apprentissage automatique supervisé qui ont été tentées afin de surmonter les problèmes de longue durée de calibrage et la non-stationnarité des signaux cérébraux en ICMs basées sur l'imagerie motrice. Ces techniques peuvent être classées en deux catégories: les techniques qui sont invariantes à la non-stationnarité et les techniques qui s'adaptent au changement. Dans la première catégorie, les techniques d'apprentissage par transfert entre différentes sessions et/ou différents individus ont attiré beaucoup d'attention au cours des dernières années. Dans la deuxième catégorie, différentes techniques d'adaptation en ligne des modèles d'apprentissage ont été tentées. Parmi elles, les techniques basées sur les potentiels d'erreurs sont les plus prometteuses. Les deux principales contributions de cette thèse sont basés sur des combinaisons linéaires des classificateurs. Ainsi, ces méthodes sont accordées un intérêt particulier tout au long de ce manuscrit. Dans la première contribution, je étudie l'utilisation de combinaisons linéaires des classificateurs dans les ICMs basées sur l'apprentissage par transfert et je propose une méthode de classification inter-sujets basée sur les combinaisons linéaires de classifieurs afin de réduire le temps de calibrage en ICMs. Je teste l'efficacité de la méthode de combinaison de classifieurs utilisée et j'étudie les cas ou l'apprentissage par transfert a un effet négatif sur les performances des ICMs. Dans la deuxième contribution, je propose une méthode de classification inter-sujets qui permet de combiner l'apprentissage par transfert l'adaptation en ligne. Dans cette méthode, l'apprentissage par transfert est effectué en combinant linéairement des classifieurs appris à partir de signaux EEG de différents sujets. L'adaptation en ligne est effectué en mettant à jours les poids de ces classifieurs d'une manière semi-supervisée.


  • Résumé

    A brain-computer interface (BCI) is a system that allows establishing direct communication between the brain and an external device, bypassing normal output pathways of peripheral neuromuscular system. Different types of BCIs exist in literature. Among them, BCIs based on motor imagery (MI) are the most promising ones. They rely on self-regulation of sensorimotor rhythms by imagination of movement of different limbs (e.g., left hand and right hand). MI-based BCIs are best candidates for applications dedicated to severely paralyzed patients but they are hard to set-up because self-regulation of brain rhythms is not a straightforward task.In early stages of BCI research, weeks and even months of user training was required in order to generate stable brain activity patterns that can be reliably decoded by the system. The development of user-specific supervised machine learning techniques allowed reducing considerably training periods in BCIs. However, these techniques are still faced with the problems of long calibration time and brain signals non-stationarity that limit the use of this technology in out-of-the-lab applications. Although many out-of-the-box machine learning techniques have been attempted, it is still not a solved problem.In this thesis, I thoroughly investigate supervised machine learning techniques that have been attempted in order to overcome the problems of long calibration time and brain signals non-stationarity in MI-based BCIs. These techniques can be mainly classified into two categories: techniques that are invariant to non-stationarity and techniques that adapt to the change. In the first category, techniques based on knowledge transfer between different sessions and/or subjects have attracted much attention during the last years. In the second category, different online adaptation techniques of classification models were attempted. Among them, techniques based on error-related potentials are the most promising ones. The aim of this thesis is to highlight some important points that have not been taken into consideration in previous work on supervised machine learning in BCIs and that have to be considered in future BCI systems in order to bring this technology out of the lab. The two main contributions of this thesis are based on linear combinations of classifiers. Thus, these methods are given a particular interest throughout this manuscript. In the first contribution, I study the use of linear combinations of classifiers in knowledge transfer-based BCIs and I propose a novel ensemble-based knowledge transfer framework for reducing calibration time in BCIs. I investigate the effectiveness of the classifiers combination scheme used in this framework when performing inter-subjects classification in MI-based BCIs. Then, I investigate to which extent knowledge transfer is useful in BCI applications by studying situations in which knowledge transfer has a negative impact on classification performance of target learning task. In the second contribution, I propose an online inter-subjects classification framework that allows taking advantage from both knowledge transfer and online adaptation techniques. In this framework, called “adaptive accuracy-weighted ensemble” (AAWE), inter-subjects classification is performed using a weighted average ensemble in which base classifiers are learned using EEG signals recorded from different subjects and weighted according to their accuracies in classifying brain signals of the new BCI user. Online adaptation is performed by updating base classifiers' weights in a semi-supervised way based on ensemble predictions reinforced by interaction error-related potentials.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Bibliothèque interuniversitaire. Section Sciences.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.