La cognition incarnée mise à l’épreuve : des preuves électrophysiologiques dans des environnements virtuels et classiques

Embodied semantics put to the test : electrophysiological evidence from virtual reality and classical environments

• Auteur / Autrice : Ana Elisa Zappa
• Direction : Cheryl Frenck-Mestre
• Type : Thèse de doctorat
• Discipline(s) : Sciences du langage
• Date : Soutenance le 10/12/2020
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole doctorale Cognition, Langage et Education (Aix-en-Provence ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Parole et langage (Aix-en-Provence, Bouches-du-Rhône ; 1976-...)
• Jury : Président / Présidente : Daniel Mestre
• Jury : Examinateurs / Examinatrices : Véronique Boulenger
• Jury : Rapporteurs / Rapporteuses : Alice Foucart, Yann Coello

Mots clés

Mots clés contrôlés

Réalité virtuelle

Langage

Activité motrice

Électroencéphalographie

Acquisition du langage

Mots clés libres

Sémantique incarnée

Eeg

Temps-Fréquence

Apprentissage L2

Réalité virtuelle

Activation motrice

Embodied semantics

Eeg

Time-Frequency

L2 learning

Virtual reality

Motor activaiton

Résumé

Bien que la neuro-imagerie et les études comportementales aient montré un recrutement des systèmes sensorimoteurs lors du traitement sémantique, le rôle et le décours temporel de ces activations doivent encore être précisés. Notre objectif était donc d’observer les différents contextes dans lesquels l’activation motrice peut contribuer à la compréhension et à l’apprentissage du langage, en combinant l’électroencéphalographie (EEG) et des environnements interactifs et écologiques. Dans une première étude, les résultats en EEG ont indiqué un apprentissage rapide de mots en L2 ainsi qu’un effet de congruence de genre grammatical entre la L1 et la L2. Dans l’étude 2, associant un paradigme de compatibilité action-phrase (ACE) à l’EEG, nous avons observé une interférence provoquée par la compatibilité entre les processus moteurs et langagiers. Dans l’étude 3, les participants ont entendu des verbes d’action et ont effectué diverses actions dans un Cave automatic virtual environment (CAVE), pendant une tâche de Go-Nogo. Des analyses en temps-fréquence ont montré des activations motrices dans les deux conditions, et plus dans la condition Go, pendant le traitement des verbes d’action. Notre dernière étude est un registered report qui vise à déterminer les corrélats neuronaux de l’apprentissage incarné d’une deuxième langue en combinant l’EEG et la réalité virtuelle interactive. Le travail présenté dans cette thèse constitue un pas important vers une meilleure compréhension de la relation subtile entre les processus moteurs et sémantiques et ouvre de nouvelles perspectives pour prendre en compte la nature contextuelle de la façon dont nous comprenons et apprenons le langage.

While neuroimaging and behavioral studies have shown that sensory-motor systems are recruited during semantic processing, how and when this occurs has not yet been clearly established. Our purpose was to observe the different contexts in which motor activation can contribute to language comprehension and learning by combining electroencephalography (EEG) and interactive, ecologically valid environments. In our first study, behavioral and EEG results indexed rapid L2 word learning as well as a L1-L2 gender-congruency effect. In study 2, we used an action-sentence compatibility effect (ACE) paradigm to evaluate how motor preparation affects language processing. ERP results showed greater N400 amplitude for congruent compared to incongruent action-sentence trials, suggesting that compatibility between motor and language processes produced interference. In study 3, participants heard action verbs in their native language and performed varied actions on a virtual object in a Cave automatic virtual environment (CAVE) during a Go/Nogo task. Time-frequency results revealed motor activation for both Go and Nogo conditions, but greater for Go, during action verb processing. Study 4 is a registered report that aims to determine the neural correlates of embodied L2 learning by having participants encode auditory action verbs using an interactive virtual reality. The body of the work reported in this dissertation represents a significant step towards better understanding the subtle relationship between motor and semantic processes and opens up fresh perspectives for taking into account the contextual nature of how we learn and understand language.