Méthodologie de traitement conjoint des signaux EEG et oculométriques : applications aux tâches d'exploration visuelle libre

par Emmanuelle Kristensen

Thèse de doctorat en Ingénierie de la cognition, de l'interaction, de l'apprentissage et de la création

Sous la direction de Anne Guérin-Dugué et de Bertrand Rivet.

Le président du jury était François Cabestaing.

Le jury était composé de Blaise Yvert.

Les rapporteurs étaient Maureen Clerc, Frédéric Dehais.


  • Résumé

    Nos travaux se sont articulés autour du problème de recouvrement temporel rencontré lors de l'estimation des potentiels évoqués. Il constitue, plus particulièrement, une limitation majeure pour l'estimation des potentiels évoqués par les fixations ou saccades oculaires lors d'une expérience en enregistrement conjoint EEG et oculométrie. En effet, la méthode habituellement utilisée pour estimer ces potentiels évoqués, la méthode par simple moyennage du signal synchronisé sur l'évènement d'intérêt, suppose qu'il y a un seul potentiel évoqué par essai. Or selon les intervalles inter-stimuli, cette hypothèse n'est pas toujours vérifiée. Ceci est d'autant plus vrai dans le contexte des potentiels évoqués par fixations ou saccades oculaires, les intervalles entre ceux-ci n'étant pas contrôlés par l'expérimentateur et pouvant être plus courts que les latences des potentiels d'intérêt. Le fait que cette hypothèse ne soit pas vérifiée donne une estimation biaisée du potentiel évoqué du fait des recouvrements entre les potentiels évoqués.Nous avons donc utilisé le Modèle Linéaire Général (GLM), méthode de régression linéaire bien connue, pour estimer les potentiels évoqués par les mouvements oculaires afin de répondre à ce problème de recouvrement. Tout d'abord, nous avons introduit, dans ce modèle, un terme de régularisation au sens de Tikhonov dans l'optique d'améliorer le rapport signal sur bruit de l'estimation pour un faible nombre d'essais. Nous avons ensuite comparé le GLM à l'algorithme ADJAR dans un contexte d'enregistrement conjoint EEG et oculométrie lors d'une tâche d'exploration visuelle de scènes naturelles. L'algorithme ADJAR ("ADJAcent Response") est un algorithme classique d'estimation itérative des recouvrements temporels développé en 1993 par M. Woldorff. Les résultats ont montré que le GLM était un modèle plus flexible et robuste que l'algorithme ADJAR pour l'estimation des potentiels évoqués par les fixations oculaires. Puis, deux configurations du GLM ont été comparées pour l'estimation du potentiel évoqué à l'apparition du stimulus et du potentiel évoqué par les fixations au début de l'exploration. Toutes deux prenaient en compte les recouvrements entre potentiels évoqués mais l'une distinguait également le potentiel évoqué par la première fixation de l'exploration du potentiel évoqué par les fixations suivantes. Il est apparu que le choix de la configuration du GLM était un compromis entre la qualité de l'estimation des potentiels et les hypothèses émises sur les processus cognitifs sous-jacents.Enfin, nous avons conduit de bout en bout une expérience d'envergure en enregistrement conjoint EEG et oculométrie portant sur l'exploration des expressions faciales émotionnelles naturelles statiques et dynamiques. Nous avons présenté les premiers résultats pour la modalité statique. Après avoir discuté de la méthode d'estimation des potentiels évoqués selon l'impact des mouvements oculaires sur leur fenêtre de latence, nous avons étudié l'effet du type d'émotion. Nous avons trouvé des modulations du potentiel différentiel EPN (Early Posterior Negativity), entre 230 et 350 ms après l'apparition du stimulus et du potentiel LPP (Late Positivity Potential), entre 400 et 600 ms après l'apparition du stimulus. Nous avons également observé des variations du potentiel évoqué par les fixations oculaires. Pour le potentiel LPP, qui est un marqueur de la reconnaissance consciente de l'émotion, nous avons montré qu'il était important de dissocier l'information qui est immédiatement encodée à l'apparition du stimulus émotionnel, de celle qui est apportée à l'issue de la première fixation. Cela met en évidence un motif d'activation différencié pour les stimuli émotionnels à valence négative ou à valence positive. Cette différenciation est en accord avec l'hypothèse d'un traitement plus rapide des stimuli émotionnels à valence négative que des stimuli émotionnels à valence positive.

  • Titre traduit

    Methodology for EEG signal and eye tracking joint processing : applications on free visual exploration tasks


  • Résumé

    Our research focuses on the issue of overlapping for evoked potential estimation. More specifically, this issue is a significant limitation for Eye-Fixation Related Potentials and Eye-Saccade Related Potentials estimations during a joint EEG and eye-tracking recording. Indeed, the usual estimation, by averaging the signal time-locked to the event of interest, is based on the assumption that a single evoked potential occurs during a trial. However, depending on the inter-stimulus intervals, this assumption is not always verified. This is especially the case in the context of Eye-Fixation Related Potentials and Eye-Saccade Related Potentials, given the fact that the intervals between fixations (or saccades) are not controlled by the experimenter and can be shorter than the latencies of the potentials of interest.The fact that this assumption is not verified gives a distorted estimate of the evoked potential due to overlaps between the evoked potentials.We have therefore used the Linear Model (GLM), a well-known linear regression method, to estimate the potentials evoked by ocular movements in order to take into account overlaps. First, we decided to introduce a term of Tikhonov regularization into this model in order to improve the signal-to-noise ratio of the estimate for a small number of trials. Then, we compared the GLM to the ADJAR algorithm in a context of joint EEG and eye-tracking recording during a task of visual exploration of natural scenes. The ADJAR ("ADJAcent Response") algorithm is an algorithm for iterative estimation of temporal overlaps developed in 1993 by M. Woldorff. The results showed that the GLM model was more flexible and robust than the ADJAR algorithm in estimating Eye-Fixation Related Potentials. Further, two GLM configurations were compared in their estimation of evoked potential at the onset of the stimulus and the eye-fixation related potential at the beginning of the testing. Both configurations took into account the overlaps between evoked potentials, but one additionally distinguished the potential evoked by the first fixation of the exploration from the potential evoked by the following fixations. It became clear that the choice of the GLM configuration was a compromise between the estimation quality of the potentials and the assumptions about the underlying cognitive processes.Finally, we conducted an extensive joint EEG and eye-tracking experiment on the exploration of static and dynamic natural emotional facial expressions. We presented the first results for the static modality. After discussing the estimation method of the evoked potentials according to the impact of the ocular movements on their latency window, we studied the influence of the type of emotion. We found modulations of the differential EPN (Early Posterior Negativity) potential, between 230 and 350 ms after the stimulus onset and the Late Positivity Potential (LPP) , between 400 and 600 ms after the stimulus onset. We also observed variations for the Eye-Fixation Related Potentials. Regarding the LPP component, a marker of conscious recognition of emotion, we have shown that it is important to dissociate information that is immediately encoded at the onset of the emotional stimulus from information encoded at the first fixations. This shows a differentiated pattern of activation according to the emotional stimulus valence. This differentiation is in agreement with the hypothesis of a faster treatment of negative emotional stimuli than of positive emotional stimuli.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Autre version

Cette thèse a donné lieu à une publication

Méthodologie de traitement conjoint des signaux EEG et oculométriques : applications aux tâches d'exploration visuelle libre


Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université Savoie Mont Blanc (Chambéry-Annecy). Service commun de la documentation et des bibliothèques universitaires. Bibliothèque électronique.
  • Bibliothèque : Université Grenoble Alpes. Bibliothèque et Appui à la Science Ouverte. Bibliothèque électronique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.

Consulter en bibliothèque

Cette thèse a donné lieu à une publication à Grenoble

Informations

  • Sous le titre : Méthodologie de traitement conjoint des signaux EEG et oculométriques : applications aux tâches d'exploration visuelle libre
  • Détails : 1 vol. (V-201 p.)
  • Annexes : Bibliographie p.191-201.
La version de soutenance de cette thèse existe aussi sous forme papier.

Où se trouve cette thèse\u00a0?

Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.