Interaction humain/système de drones et facteurs humains : Prise en compte de l'estimation de l'état de fatigue d'un opérateur dans le design d'interactions adaptatives pour le contrôle de drones longue endurance

Human-drone interaction : Taking into account the estimation of operator fatigue in the design of adaptive interactions for the control of long-endurance UAVs.

• Auteur / Autrice : Marcel Hinss
• Direction : Raphaëlle N. Roy
• Type : Thèse de doctorat
• Discipline(s) : Systèmes embarqués
• Date : Soutenance le 26/09/2024
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Equipe de recherche : Equipe d'accueil doctoral DECIsion, Supervision et Interaction pour l'Opération de systèmes complexes (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département conception et conduite des véhicules aéronautiques et spatiaux
• Jury : Président / Présidente : Fabien Lotte
• Jury : Examinateurs / Examinatrices : Fabien Lotte, Joost De Winter, Timothy Robert Merritt
• Jury : Rapporteurs / Rapporteuses : Anne-Marie Brouwer, Philippe Cabon
• DOI : 10.70675/adadd38ezfbccz4838za728z58242396324a

Mots clés

Mots clés contrôlés

Électroencéphalographie

Interfaces neuronales directes

Interaction humain-machine

Mots clés libres

Hci

Pbci

Eeg

Résumé

L’utilisation de drones est fréquente dans de nombreuses industries et dans les activités militaires modernes. Toutefois les drones militaires à longue endurance souffrent encore d’un taux élevé d’accidents liés à des erreurs humaines, en particulier lorsque les opérateurs ressentent de la fatigue mentale (FM).En particulier, la flexibilité cognitive exigée des opérateurs offre une possibilité d’amélioration. Cependant, peu de recherches ont été menées sur celle-ci lors de tâches complexes tel que le contrôle d’un drone.Dans cette thèse, nous remédions à cette lacune, et la possibilité d’atténuer les effets négatifs de la FM sur la flexibilité cognitive a également été explorée. Pour ce faire, des alertes visuelles ont été développées pour informer les participants lorsqu’ils devaient passer d’une tâche à l’autre. Pour accroître l’efficacité des alertes visuelles, leur utilisation devrait être limitée aux périodes de faible performance (par exemple, en raison de la FM), au cours desquelles l’impact positif des alertes visuelles peut être maximisé.Les interfaces cerveau-ordinateur passives (pBCI) et les systèmes informatiques physiologiques utilisant l’électroencéphalographie (EEG), l’électrocardiographie (ECG) et l’oculométrie peuvent détecter des états sub-optimaux comme la FM. Dans ce cas, les alertes visuelles sont susceptibles d’avoir un impact positif plus important. La détection d’ états mentaux pose plusieurs problèmes : Un état mental n’est pas nécessairement un bon indicateur de performance. D’autre part, l’estimation peut s’avérer difficile, notamment parce que la performance peut être définie de différentes manières.À la suite de plusieurs entretiens avec des opérateurs, cinq expériences ont été conçues.(i) La première expérience, appelée expérience Double Task Switching (DTS), teste un nouveau protocole comportemental pour étudier la flexibilité cognitive. Les résultats ont montré que le passage d’une tâche similaire à une autre impacte significativement la performance.(ii) Cette expérience est suivie d’un second paradigme visant à déterminer si la simple présence d’alertes visuelles peut améliorer les performances. Les résultats de cette étude montrent que les alertes visuelles sans explication préalable ne semblent pas améliorer les performances. Deux autres expériences explorent la possibilité d’utiliser l’EEG, l’ECG et le suivi des yeux pour détecter la FM lors de simulations réalistes de drone.(iii) La première expérience se concentre sur une tâche de recherche et constitue une première étude des différences entre l’estimation de la FM basée sur le temps passé sur la tâche (TOT) et celle basée sur la performance.(iv) L’expérience suivante combine ensuite les deux expériences précédentes en ajoutant une tâche de navigation pour recréer certains aspects de l’opération de drones. Les résultats mettent en évidence la différence dans l’utilisation de définitions différentes de la FM pour le design de systèmes informatiques physiologiques. Notamment, le TOT et la performance de la tâche sont comparés.(v) Enfin, nous étudions si les alertes visuelles peuvent être utilisées pour adapter une interface adaptative dans les simulations de drones afin d’améliorer les performances. Pour ce faire, des alertes visuelles ont été ajoutées à l’expérience précédente. Les résultats préliminaires mettent en évidence l’impact d’une simple adaptation basée sur le comportement dans un environnement de travail complexe.Les travaux présentés dans ce manuscrit montrent que la flexibilité cognitive devrait être considérée comme une priorité dans la recherche sur les facteurs humains et que des adaptations simples peuvent améliorer la performance. Ils soulignent également l’importance de la FM et la manière dont différentes définitions de ce concept peuvent entraîner des différences de performance majeures pour les pBCI et les systèmes d’informatique physiologique.

Uncrewed Aerial Systems (UAS) are common in many industries and an important pillar ofmany modern militaries. While technology advances rapidly, military long-endurance UASstill suffer from high rates of human error-related mishaps, especially when operators experience mental fatigue.In particular, the frequent switching between tasks required by operators presents an opportunity for improvement. Cognitive flexibility, the mental ability to switch between tasks or responses, is an important executive function. However, little research has investigated cognitive flexibility during complex tasks such as UAS control. In this thesis we address this lack, and the possibility of mitigating the adverse effects of fatigue on cognitive flexibility was also explored. For this, visual alerts were developed to inform participants when they had to switch between tasks. To increase the effectiveness of visual alerts, their use should be restricted to periods of poor performance (e.g. due to mental fatigue), during which the positive impact ofvisual alerts may be maximized.Passive Brain-Computer Interfaces (pBCI) and physiological computing systems using electroencephalography (EEG), electrocardiography (ECG) and eye-tracking may detect sub-optimal states, such as mental fatigue. Detecting mental states poses several theoretical issues. Most notably, a mental state is not necessarily a good performance indicator. Directly estimating performance, on the other hand, has proven to be more challenging for BCIs and Physiological Computing, partially because performance can be defined in many ways.Following several interviews with operators, 5 experiments were designed. (i) The firstexperiment, the Double Task Switching (DTS) experiment, tests a novel behaviouralprotocol to investigate cognitive flexibility and the effects of similarity on task-switching costs.Results showed that switching between similar and dissimilar tasks significantly differs in accuracy and reaction time. This experiment is followed by (ii) a second behavioural paradigm investigating whether the mere presence of visual alerts can improve performance. It builds on the DTS protocol and is called the DTS-II experiment. The results of this study show that visual alerts without any prior explanation do not appear to improve performance when switching between tasks.Two further experiments explore the possibility of using EEG, ECG and eye-tracking to detect mental fatigue during realistic UAS simulations. (iii) The Remot3e experiment (Remote search, 3 Es for EEG, ECG & Eye-Tracking) focuses on a search task. It constitutes a primary investigation into the differences between Time-on-Task (TOT) and performance-based mental fatigue estimation. Then, (iv) the UASOS (UAS Operator Simulation) experiment combines the DTS protocol and the Remot3e Task, adding a navigation task to recreate some of the fundamental aspects of UAS operations. Both experiments highlight the difference in using different definitions of mental fatigue for constructing and training physiological computing systems.Notably, Time-On-Task (TOT, the time a participant has been performing a task) and task performance are compared.Finally, (v) we investigate if visual alerts can be used to adapt an adaptive interface inUAS simulations to improve performance. For this, Visual Alerts were added to the UASOSexperiment. The preliminary results highlight the impact of a simple adaptation on behaviour within a complex work environment.The work in this manuscript shows that cognitive flexibility should be considered a priorityin human factor research and that simple adaptations, such as visual alerts, can improve cognitive flexibility. It also highlights the importance of mental fatigue and how different definitions of the construct (based on performance or TOT) can result in major performance differences when researching pBCIs and Physiological Computing systems.