Rôle de la fréquence fondamentale et des indices acoustiques fins dans la segmentation de la parole continue

par Stéphane Pota

Projet de thèse en Pcn

Sous la direction de Elsa Spinelli (edisce).

Thèses en préparation à Grenoble Alpes , dans le cadre de Ingénierie pour la santé la Cognition et l'Environnement , en partenariat avec LPNC - Laboratoire de Psychologie et NeuroCognition (laboratoire) depuis le 06-09-2011 .


  • Résumé

    Bien que la compréhension du langage parlé nous semble aisée, c'est une activité sous-tendue par des opérations complexes. Un des points critiques concerne la segmentation du signal en unités discrètes telles que les mots. En effet, la parole est un flux continu sans marques explicites de frontière entre ses composants, que ce soient les syllabes, les mots et même éventuellement les phrases. Ainsi certaines séquences sonores sont ambiguës, comme par exemple l'amie et la mie. Pourtant une segmentation correcte est nécessaire à une bonne compréhension. Des études acoustiques ont montré qu'il existait, de fait, dans le signal de parole certains indices acoustiques pouvant servir de marque de frontière de mots. De récents travaux, utilisant des techniques comportementales, suggèrent qu'en effet l'auditeur peut dans une certaine mesure utiliser les indices acoustiques afin de segmenter la chaîne de parole continue (Spinelli, Grimault, Meunier & Welby, 2009). Le présent projet vise à développer ces recherches prometteuses notamment en identifiant le moment où les indices acoustiques sont utilisés (i.e. de façon pré- ou post- lexicale). Nous étudierons également les processus de segmentation et le rôle des indices acoustiques fins dans des situations plus écologiques qu'auparavant en nous affranchissant des tâches et en utilisant l'EEG, en multipliant les indices, en particulier les informations sémantiques, et en testant la robustesse des indices acoustiques fins au bruit. Nous focaliserons notre attention sur un indice que nous avons identifié, dans nos travaux précédents, comme particulièrement intéressant pour la segmentation : la F0. Nous nous attacherons à étudier le rôle de la dynamique de cet indice au regard de sa valeur absolue. Nos expériences seront réalisées sur une population saine mais également sur une population dyslexique. Le travail de recherche proposé reposera sur trois types de mesures : des mesures acoustiques, des mesures comportementales et des mesures électrophysiologiques. La série d'expériences envisagée pourrait clairement remettre en question l'existence d'unités intermédiaires, i.e. les phonèmes dans l'accès au lexique en montrant l'utilisation par le système d'indices sub-phonémiques dans les processus de compréhension. Cette recherche nous permettra également d'apporter des éléments de réponse au problème majeur concernant le traitement du langage parlé, l'immense variabilité du signal. Pour finir, les données concernant les dyslexiques pourraient amener à une meilleure compréhension de ce trouble et des traitements appliqués au signal de parole.

  • Titre traduit

    Role of fundamental frequency and acoustic cues in the continuous speech segmentation


  • Résumé

    Although the understanding of spoken language seems easy, it is underlined by complex operations. One of the critical points concerns the signal segmentation into discrete units such as words. Indeed, the speech is a continuous stream without explicit marks between its components, whether syllables, words and sentences. And some speech sequences can be ambiguous, such as l'amie “the friend” and la mie “the crumb”. Yet a correct segmentation is necessary for a correct understanding. Acoustic analyses have shown that there is in speech signal some acoustic cues that can serve as word boundaries. Recent studies using behavioral techniques suggest that listeners can use acoustic cues to some extent to segment the continuous speech stream (Spinelli, Grimault , Meunier & Welby , 2009). The present project aims to develop these promising research including identifying when the acoustic cues are used (i.e. in a pre- or post-lexical way). We will also study the segmentation process and the role of acoustic cues in more ecological situations than before by using passive task and EEG, by multiplying the cues, especially semantic information, and by testing the robustness of acoustic cues in noisy condition. We will focus our attention on one cue that we identified in our previous work as particularly interesting for segmentation: fundamental frequency (f0). We will focus on studying the role of the dynamic of this cue in terms of its absolute value. Our experiments will be performed on a healthy population but also a dyslexic population. The proposed research will be based on three types of measures: acoustic, behavioral and electrophysiological measures. The series of experiments could clearly intended to question the existence of intermediate units, i.e. phonemes, in lexical access by showing the use by the system of sub- phonemic cues in the process of speech understanding. This research will also allow us to provide some answers to the major problem concerning the processing of spoken language: the great variability of the signal. Finally, data on dyslexia could lead to a better understanding of this disorder and the process applied to speech signal.