Les bases neurophysiologiques de la perception audiovisuelle syllabique : étude simultanée en Imagerie par Résonance Magnétique fonctionnelle et en électroencéphalographie (IRMf/EEG)

par Cyril Michel Robert Dubois

Thèse de doctorat en Sciences du langage, linguistique, phonétique et informatique

Sous la direction de Rudolph Sock.

Soutenue en 2009

à Strasbourg .


  • Résumé

    L’intelligibilité de la parole est améliorée par l’apport des visèmes (contrepartie visuelle des phonèmes), dans un environnement bruyant (Sumby & Pollack, 1954), ce qui nous indique un effet facilitateur sur l’accès au lexique mental. Selon Massaro (1990), l’influence d’une source est maximale si une autre est ambiguë. Pourtant dans l’effet «McGurk» (McGurk & MacDonald, 1976), les deux sources, audible et visible sont équipotentes. Le résultat est bien une perturbation, puisque la «cible» a été mal interprétée. Certains chercheurs ont montré que l’effet McGurk pouvait avoir lieu sur des mots et même sur des phrases. Cela corrobore l’idée que l’intégration de la source visuelle est précoce et prélexicale, mais aussi sujette à l’influence d’effet top-down. Nous avons mené une étude anatomo-fonctionnelle simultanée en IRMf/EEG, en utilisant une tâche de discrimination à choix forcé, portant sur des syllabes consonne-voyelle, selon deux modalités perceptives : audiovisuelle animée et audiovisuelle fixe, afin de pouvoir observer les bases neurophysiologiques de la perception audiovisuelle syllabique. La tâche de discrimination portait sur des paires syllabiques s’opposant sur les trois traits suivants : la labialité vocalique, le lieu d’articulation et le voisement consonantiques. Les résultats de la discrimination syllabique indiquent un recrutement bilatéral du cortex auditif primaire pour les deux modalités perceptives. De plus, le gyrus fusiforme et l’aire MT/V5 (dans le cortex occipital) sont activés en modalité audiovisuelle animée. Les potentiels évoqués montrent des variations significatives autour de 150 et de 250 millisecondes.

  • Titre traduit

    Neurophysiological bases of audiovisual syllabic perception : a simultaneous study in functional Magnetic Resonance Imagery and Electroencephalography (fMRI/EEG)


  • Résumé

    In a noisy environment, speech intelligibility is improved by perceiving a speaker’s face (Sumby & Pollack, 1954), a dimension which seemingly involves a facilitation effect in accessing the mental lexicon. Massaro (1990) assumes that the influence of one source of information is greatest when the other source is neutral or ambiguous. However, the McGurk effect suggests that audible and visible sources have an equal impact on the speech perception system (McGurk & MacDonald, 1976). The result is indeed a perturbation, in terms of misperception of the “target”. Several studies claim that the McGurk effect operates on the lexical level as well as on word or phrasal levels. Taken together, previous studies indicate that the bimodal integration of the visual source is early and prelexical, moreover it could be influenced by a top-down effect. We conducted a study with simultaneous recordings in fMRI/EEG, in a discrimination task, comprising consonant-vowel syllables, in two perception modalities : audiovisual and audio only, in order to investigate the neural substrates of audiovisual syllabic perception. The discrimination task was based on syllable pairs, contrasting three features : vowel lip rounding, consonant place of articulation and voicing. For syllabic discrimination, the results show bilateral activation of the primary auditive cortex for each modality. Furthermore, the fusiform gyrus and MT/V5 area (in occipital cortex) are recruited in the audio-visual modality. ERPs indicate significant modulation around 150 and 250 milliseconds.

Autre version

Cette thèse a donné lieu à une publication en 2010 par [CCSD] [diffusion/distribution] à Villeurbanne

Les bases neurophysiologiques de la perception audiovisuelle syllabique : étude simultanée en Imagerie par Résonance Magnétique fonctionnelle et en électroencéphalographie (IRMf/EEG)

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (273 p.)
  • Annexes : Bibliogr. p. 219-250. Index

Où se trouve cette thèse ?

  • Bibliothèque : Bibliothèque nationale et universitaire de Strasbourg.
  • Consultable sur place dans l'établissement demandeur
  • Cote : TM.500.732,2009
  • Bibliothèque : Bibliothèque nationale et universitaire de Strasbourg.
  • Consultable sur place dans l'établissement demandeur
  • Cote : M.500.732,2009
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.