Évaluation des états mentaux liés à l'apprentissage à partir de signaux cérébraux et physiologiques.

Estimating learning-related mental states through brain and physiological signals.

• Auteur / Autrice : Aurélien Appriou
• Direction : Fabien Lotte
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/12/2020
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux) - Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Hélène Sauzéon
• Jury : Examinateurs / Examinatrices : Michaël Tangermann, Raphaëlle N. Roy
• Jury : Rapporteurs / Rapporteuses : Sylvain Chevallier, Thorsten Zander

Mots clés

Mots clés contrôlés

Électroencéphalographie

Interaction humain-machine

Apprentissage profond

Mots clés libres

Apprentissage automatique

Physiologie

Electro-Encéphalographie

État mental

Machine Learning

Eeg

Physiology

Mental state

Résumé

L'étude de l'apprentissage humain est cruciale : comment les humains peuvent-ils apprendre et quelles sont leurs motivations pour continuer à accumuler des connaissances ? Chaque humain apprend en permanence à s'adapter à son environnement et les générations actuelles doivent maintenant apprendre à utiliser des technologies en évolution rapide. Dans le cadre des technologies émergentes, la recherche sur les interfaces cerveau-ordinateur (BCI) s'est démocratisée au cours des dernières décennies, et les expériences utilisant des BCI basées sur l'électroencéphalographie (EEG) ont considérablement augmenté. Cette technologie permet le transfert direct d'informations du cerveau humain à une machine via des signaux cérébraux, et peut notamment permettre aux personnes souffrant de graves handicaps moteurs d'envoyer des commandes à un fauteuil roulant, par exemple en imaginant des mouvements de la main gauche ou de la main droite pour faire tourner le fauteuil à gauche ou à droite. Ces BCI sont appelés BCI actifs car les utilisateurs envoient activement des commandes au système. Cependant, le manque de robustesse des BCI limite le développement de la technologie en dehors des laboratoires de recherche, et les BCI actuels ne permettent pas à 10 à 30% des personnes d'acquérir les compétences nécessaires à l'utilisation des BCI. Si de nombreuses recherches se sont concentrées sur l'amélioration des algorithmes de traitement du signal, le rôle potentiel de la formation des utilisateurs dans les performances des BCI semble être largement négligé, et les protocoles de formation pourraient ne pas convenir à tous les utilisateurs. Cependant, un autre type de BCI s'est récemment révélé particulièrement prometteur : les BCI passifs. Ces BCI ne sont pas utilisés pour contrôler directement une application, mais pour surveiller en temps réel l'état psychologique des utilisateurs, par exemple la charge de travail mental ou l'attention, afin d'adapter une application en conséquence. Le but de ma thèse de doctorat est d'essayer d'estimer les états psychologiques liés à l'apprentissage, tels que la charge de travail cognitif, la curiosité, l'attention, la fatigue ou les émotions, à partir de l'EEG et/ou de signaux biologiques, en utilisant les BCI passifs, afin de comprendre les capacités et les motivations des utilisateurs individuels à apprendre, et donc d'adapter les protocoles d'entraînement des BCI actifs en conséquence.Dans une première contribution, nous avons exploré les récents algorithmes d'apprentissage automatique qui se sont révélés prometteurs pour les MI-BCI basés sur l'oscillation, mais qui n'ont jamais été testés sur l'estimation des états psychologiques, et les avons comparés aux méthodes classiques pour estimer à la fois la charge de travail mental et les états affectifs à partir de signaux EEG basés sur l'oscillation. Nos résultats suggèrent qu'un réseau de neurones convolutif (CNN) a obtenu la précision moyenne la plus élevée en ce qui concerne l'étude de la charge de travail mental. Ensuite, nous avons mené une expérience dans laquelle nous avons utilisé des signaux EEG, de fréquence cardiaque (HR), de respiration et d'activité électrodermique (EDA), pour mesurer l'activité neurophysiologique des participants lorsqu'ils sont induits dans des états de curiosité, en utilisant des chaînes de questions-réponses du jeu "Trivial Poursuite". Les résultats de l'étude qui a tenté de classifier les signaux EEG, a permis d'obtenir une précision de classification d'environ 60 %,. Enfin, nous avons mis en œuvre une bibliothèque Python (BioPyC) pour comparer et étalonner facilement les algorithmes de traitement du signal et les algorithmes d'apprentissage automatique pour le décodage hors ligne des EEG et des biosignaux. Basés sur une interface graphique intuitive et bien guidée, quatre modules principaux permettent à l'utilisateur de suivre les étapes standard du processus BCI sans aucune compétence en programmation.

Studying human learning is crucial: how can humans learn and what are their motivations to keep building-up knowledge? Every human is permanently learning to adapt to his environment and current generations now have to learn to use rapidly evolving technologies. As part of emerging technologies, research on brain-computer interfaces (BCIs) has become more democratic in recent decades, and experiments using electroencephalography (EEG)-based BCIs dramatically increased. This technology enables direct transfer of information from the human brain to a machine via brain signals, and can notably enable people with severe motor impairments to send commands to a wheelchair, e.g., by imagining left or right hand movements to make the wheelchair turn left or right. Such BCIs are called active BCIs since users are actively sending commands to the system, here a wheelchair, by performing mental imagery. However, the lack of robustness of BCIs limits the development of the technology outside of research laboratories, and current BCIs do not enable 10 to 30% of persons to acquire the skills required to use BCIs. If a lot of research has focused on the improvement of signal processing algorithms, the potential role of user training in BCI performance seems to be mostly neglected, and training protocols might not be suitable for all users. However, another type of BCIs recently proved particularly promising: passive BCIs. Such BCIs are not used to directly control an application, but to monitor in real-time users’ psychological states, e.g., mental workload or attention, in order to adapt an application accordingly. The goal of my PhD thesis is to to attempt to estimate learning-related psychological states such as cognitive workload, curiosity, attention, fatigue or emotions, from EEG and/or bio signals, using passive BCIs, in order to understand individual users’ capabilities and motivations to learn, and therefore to adapt active BCIs training protocols accordingly.In a first contribution, we explored recent machine learning algorithms that have shown to be promising for oscillatory-based MI-BCIs, but that have never been tested on oscillatory psychological states estimation, proposed new variants of them, and benchmarked them with classical methods to estimate both mental workload and affective states (Valence/Arousal) from oscillatory-based EEG signals. We studied these approaches with both subject-specific and subject-independent calibration, to go towards calibration-free systems. Our results suggested that a Convolutional Neural Networks (CNN) obtained the highest mean accuracy, although not significantly so, in both conditions for the mental workload study. In a third contribution, we ran an experiment in which we used EEG, Heart Rate (HR), breathing and Electrodermal Activity (EDA) signals to measure the neurophysiological activity of participants as they were induced into states of curiosity, using trivia question and answer chains. So far, results from the within-participant study attempting to classify EEG signals with five-fold stratified cross-validation returned classification accuracies oscillating around 60%. As a fourth contribution, we implemented a Python library (BioPyC) to easily compare and benchmark both Signal Processing algorithms and Machine Learning algorithms for offline EEG and bio signals decoding. Based on an intuitive and well-guided graphical interface, four main modules allow the user to follow the standard steps of the BCI process without any programming skills 1) reading different neurophysiological signal data formats 2) filtering and representing EEG and biosignals 3) classifying them 4) visualizing and performing statistical tests on the results.