Approche en connectivité du monitoring d'état mental en contexte aéronautique : de l’opérateur unique aux coéquipiers

Connectivity approach to mental state monitoring in the aeronautical context : from single operator to teammates

• Auteur / Autrice : Kevin J. Verdière
• Direction : Frédéric Dehais, Raphaëlle N. Roy
• Type : Thèse de doctorat
• Discipline(s) : Systèmes embarqués
• Date : Soutenance le 19/12/2019
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Equipe de recherche : Equipe d'accueil doctoral Commande des systèmes et dynamique du vol (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département conception et conduite des véhicules aéronautiques et spatiaux
• Jury : Président / Présidente : Fabien Lotte
• Jury : Examinateurs / Examinatrices : Frédéric Dehais, Raphaëlle N. Roy, Fabien Lotte, Steven Fairclough, Anne-Marie Brouwer, Emmanuel Gardinetti
• Jury : Rapporteurs / Rapporteuses : Steven Fairclough, Anne-Marie Brouwer

Mots clés

Mots clés contrôlés

Systèmes embarqués (informatique)

Mots clés libres

Suivi d'états mentaux

Pilotage

EEG

Fnirs

Connectivité

Classification

Mental State Monitoring

Flying

EEG

Fnirs

Connectivity

Classification

Résumé

Il existe un intérêt croissant pour la mise en œuvre d'outils permettant de monitorer les performances cognitives en environnement réaliste.Les avancées technologiques récentes ont permis la mise en oeuvre de dispositifs de monitoring portables, tels que l'électroencéphalogramme (EEG), la spectroscopie fonctionnelle proche infrarouge proche (fNIRS), l'eye tracking et l'électro-cardiogramme (ECG), afin d'étudier l'activité humaine dans une variété de configurations. Ces capteurs offrent d'intéressantes perspectives pour l'aviation via l’implémentation de systèmes d'interfaces cerveau-ordinateur passives et de technologie neuroadaptive assurant une exploitation plus sûre et plus efficace. Cependant, un problème critique consiste à extraire des marqueurs de la performance humaine pertinents et robustes pour la classification et pouvant être calculés en ligne. Ce doctorat a pour but d'évaluer les métriques de connectivité permettant de monitorer les performances cognitives. Nos travaux expérimentaux suggèrent que les métriques de connectivité en fNIRS (en particulier la cohérence en ondelettes) surpassent les métriques classiques lors de l'estimation de l'engagement dans un simulateur de vol réaliste ou de la fatigue dans des conditions réelles de vol. Nous avons ensuite mis en œuvre une nouvelle méthode, à savoir le compte de coïncidence retardée, pour évaluer la synchronie cardiaque dans un contexte d'hyperscanning. Les résultats ont révélés que cette métrique de connectivité était efficace pour détecter la coopération entre des coéquipiers face à une tâches exigeantes. De plus, les données EEG ont permis de classer la charge de travail et les niveaux de coopération que ce soit en utilisant les métriques issues d'un unique opérateur ou bien les données combinées des deux coéquipiers.

There is growing interest for implementing tools to monitor cognitive performance in naturalistic environments. Recent technological progress has allowed the development of highly portable monitoring devices such as electroencephalogram (EEG), functional near-infrared spectroscopy (fNIRS), eye-tracking and electro-cardiogram (ECG) to investigate activity in a variety of human tasks. These sensors offer interesting prospects in aviation to implement passive brain computer interfaces (pBCI) and neuroadaptive technology for more efficient and safer operations. However, one critical issue is to derive relevant metrics that could account for human performance in a robust and continuous fashion. This PhD thesis intends to consider connectivity methods to monitor cognitive performance.Our experimental works suggest that fNIRS connectivity metrics (especially wavelet coherence) outperformed classical metrics when estimating engagement in a realistic flight simulator or fatigue in real flight conditions. We then implemented a new method, namely delayed coincidence count, for assessing cardiac synchrony in a hyperscanning context. Results disclosed that this connectivity metrics was efficient to detect cooperation between teammates when facing demanding task settings. Moreover EEG metrics allowed to classify workload and cooperation levels both using single and combined metrics from the 2 teammates.