Surveiller la surveillance : assistance aux pilotes à travers son regard et l'analyse des parcours visuels

Monitor the monitoring : pilot assistance through gaze tracking and visual scanning analyses

• Auteur / Autrice : Christophe Antony Lounis
• Direction : Mickaël Causse, Vsevolod Peysakhovich
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/12/2020
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Equipe de recherche : Equipe d'accueil doctoral Analyse, Commande Dynamique et Conception des systèmes (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département conception et conduite des véhicules aéronautiques et spatiaux
• Jury : Président / Présidente : Franck Mars
• Jury : Examinateurs / Examinatrices : Mickaël Causse, Vsevolod Peysakhovich, Franck Mars, Graham Braithwaite, Andrew T. Duchowski, Carolina Diaz-Piedra, Julien Donnot, Stéphane Durand
• Jury : Rapporteurs / Rapporteuses : Graham Braithwaite, Andrew T. Duchowski

Mots clés

Mots clés contrôlés

Surveillance électronique

Pilotes (aéronautique)

Neuroergonomie

Mots clés libres

Interaction Homme-Machine

Oculomètre

Mouvements oculaires

Facteurs Humains

Neuroergonomie

Aéronautique

Human-Computer Interaction

Eye-Tracking

Neuroergonomics

Aviation

Human Factors

Eye movements

Résumé

Au cours d’un vol, les pilotes doivent surveiller des instruments de vol spécifiques (indicateur d’attitude, vitesse, altimètre, les paramètres moteurs) ainsi que l’environnement extérieur (repérer des éléments du relief au sol notamment lors de conditions météorologiques dégagées et à basse altitude) pour mettre à jour leur conscience de la situation. Cette activité de surveillance (monitoring), critique durant les phases de vols dites évolutives (décollage, phase d’approche, et atterrissage), tient compte de l’observation et de l’interprétation de la trajectoire, des modes d’automatisation sélectionnés, des systèmes utilisés à bord. Cela suppose une comparaison en temps réel entre les données affichées aux instruments et les valeurs attendues lors des phases de vols. Une surveillance appropriée du cockpit permet de prendre des mesures correctives (ajuster la trajectoire de l’avion lors de la détection d’une déviation observable sur la zone d’attitude) en temps opportun lors de la déviation d’un paramètre, garantissant ainsi un niveau de sécurité optimal. Cette activité de surveillance est structurée en séquence d’engagement et de réorientation de l’attention visuelle du pilote d’un instrument vers un autre. Les rapports d’accidents ont démontré que bien souvent les erreurs de pilotage, tels que des trajectoires incorrectes ou bien une survitesse à l’atterrissage, étaient la résultante d’une surveillance défaillante et/ou inadéquate des instruments du cockpit. L’enjeu de ce travail de recherche est d’’améliorer la sécurité des vols notamment grâce à l’intégration d’un oculomètre et/ou la recherche de solution pour améliorer l’entrainement des pilotes en vue de réduire les erreurs de surveillance à bord. Les mouvements des yeux sont une fenêtre sur l’état cognitif du pilote et permettent de révéler les chemins attentionnels empruntés par l’opérateur à travers son parcours visuel. En lien avec les problématiques de surveillance dans les cockpits, nous avons élaboré un assistant de vol (FETA : Flight Eye Tracking Assistant) basé sur des comportements visuels d’experts (24 pilotes avec plus de 1600 heures de vols). Cet assistant prévient les pilotes, grâce à une alarme auditive, quand ils ne consultent plus suffisamment un instrument de vol en comparaison avec la base de données des mouvements oculaires experts. Une évaluation facteurs humains de cet assistant a soulevé plusieurs problématiques et a ouvert la voie à de nouvelles recherches concernant l’utilisation de métriques reflétant aux mieux les parcours oculaires dans le cockpit et permettant précisément de quantifier l’attention visuelle d’un pilote à bord. Une partie de ce travail de recherche s’appuie sur une comparaison entre novices et experts afin de quantifier la marque de l’expertise. Une méthode utilisant le K coefficient appliqué aux AOI a permis de qualifier l’attention visuelle des pilotes (focal vs ambient) au cours de scenario en simulateur de vols présentant différentes charges d’activité visuomoteur. Des méthodes d’apprentissage machine basée sur des matrices de transition ont permis de classifier l’expertise avec une précision de 91%. Enfin, deux méthodes ont été utilisées pour qualifier et quantifier les stratégies visuelles dans le cockpit. Une méthode utilisant la Complexité de Lempel-Ziv (LZC), un algorithme de compression des données, permettant de mettre en lumière la complexité des séquences de balayage dans le cockpit. Ainsi que le méthode N-gram, a l’origine issue de la recherche sur les séquences ADN, permettant de quantifier les patterns communs au groupe d’expert et la longueur des patterns utilisés.

During a flight, pilots must rigorously monitor specific flight instruments (e.g., attitude indicator, airspeed, altimeter, engine parameters) as well as the external environment (e.g., locate terrain features on the ground, especially in clear weather conditions by low altitude) to update their situational awareness. This monitoring activity, which is critical during dynamic flight phases (e.g., takeoff, approach phase, and landing), consist in observing and interpreting the flight path, the selected automation modes, and the systems used onboard. This involves a real-time comparison between the data displayed on the instruments and the values expected during the flight phases. Appropriate monitoring of the cockpit enables to take corrective measures (e.g., adjust the aircraft's trajectory when a deviation is detected in the attitude zone) promptly when a parameter is deviated, thus guaranteeing an optimal level of safety. This monitoring activity is structured in a sequence of engagement and redirection of the operator's visual attention from one instrument to another. Moreover, accident reports have shown that piloting errors, such as incorrect trajectories or overspeed during landing, are often the result of inadequate monitoring of cockpit instruments. The purpose of this research work is to improve the flight safety thanks in particular to the integration of an eye-tracker. Eye movements are a window on the pilot's cognitive state and reveal the attentional paths taken by the operator through his visual path. In connection with cockpit monitoring issues, we have developed a Flight Eye Tracking Assistant (FETA) based on expert visual behaviors (e.g., 24 pilots with more than 1600 flight hours). This assistant warns the pilots, thanks to an audible alarm, when they no longer sufficiently consult a flight instrument in comparison with the expert eye movement database. A human factors evaluation of this assistant raised several issues with such an assistant and paved the way for further research including metrics that best reflect the eye paths in the cockpit and the need to find the right metric to quantify a pilot's visual attention onboard. Part of this research work is based on a comparison between novices and experts in order to quantify the mark of expertise. A method using the K coefficient applied to the AOIs allowed to qualify the visual attention of the pilots (focal vs ambient) during a flight simulator scenario with different loads of visuomotor activity. Machine learning methods based on transition matrices allowed to classify the expertise with an accuracy of 91%. Finally, two methods were used to qualify and quantify visual strategies in the cockpit. A method using Lempel-Ziv Complexity (LZC), a data compression algorithm, to highlight the complexity of the scanning sequences in the cockpit. Another called N-gram method, originally derived from DNA sequence research, which quantifies the patterns common to the expert group and the length of the patterns used. These contributions are discussed in the light of the improvement of a flying assistant based on eye tracking data for improving learning on the one hand and avoiding monitoring problems on the other. Finally, the evaluation of the FETA prototype raised perspectives on the choice of the most relevant modality (e.g. auditory, visual, haptic) for alerting.