MModéliser la perception non-native en utilisant des modèles de traitement automatique de la parole

Modelling non-native speech perception using automatic speech processing

• Auteur / Autrice : Juliette Millet
• Direction : Ewan Dunbar, Ioana Chitoran
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et sciences informatiques
• Date : Soutenance le 16/05/2022
• Etablissement(s) : Université Paris Cité
• Ecole(s) doctorale(s) : École doctorale Frontières de l'innovation en recherche et éducation (Paris ; 2006-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de linguistique formelle (Paris) (1972-....)
• Jury : Président / Présidente : Emmanuel Dupoux
• Jury : Examinateurs / Examinatrices : Emmanuel Dupoux, Jean-Luc Schwartz, Odette Scharenborg, Laurent Besacier, Laura Gwilliams
• Jury : Rapporteurs / Rapporteuses : Jean-Luc Schwartz, Odette Scharenborg

Mots clés

Mots clés contrôlés

Cartographie cérébrale

Modèles linguistiques

Apprentissage automatique

Langue maternelle et langue seconde (enseignement des langues)

Perception de la parole

Mots clés libres

Perception de la parole

Perception non-Native

Apprentissage de seconde langue

Apprentissage automatique

Modélisation

Systèmes de reconnaissance automatique de la parole

Speech perception

Non-Native speech perception

L2 learning

Machine learning

Modelling

Automatic speech processing

Résumé

Apprendre une nouvelle langue est une tâche ardue. Avant même de considérer le fait de se confronter à une nouvelle grammaire ou un nouveau vocabulaire, différencier les sons qui compose cette nouvelle langue est déjà une épreuve en soi. En effet, ces distinctions sont parfois très difficiles à réaliser. Les Japonais natifs, par exemple, quand ils apprennent l'anglais, présentent des difficultés à différencier le son /r/ (dans right) et le son /l/ (dans light). Ce genre de confusion (confondre deux sons dans une autre langue que la sienne) peut arriver à n'importe quel individu, avec n'importe quelle langue natale. Cette dernière biaise notre perception des sons, et cela transparaît notamment dans notre capacité (ou incapacité) à distinguer des sons non-natifs. Réussir à prédire ces biais, à comprendre leur origine nous informe sur les règles qui régissent notre processus de compréhension de la parole. De plus, ces problèmes de perception des sons non-natifs offrent une opportunité pour évaluer la similarité de modèles computationnels de perception de la parole aux humains. Dans ce manuscrit, nous comparons l'espace représentationnel de modèles de traitement automatique de la parole, développés au sein du domaine de recherche de l'apprentissage automatique, avec l'espace perceptuel humain. Nous réalisons cette comparaison en nous concentrant sur les biais de perception qui apparaissent lors de la perception de langues non-natives. Cette analyse est accomplie grâce à la construction d'une base de données contenant un nombre de résultats important de capacités de distinction de sons natifs et non-natifs pour des participants anglais et français. Ces données nous permettent dans un premier temps d'évaluer divers modèles récents, et de mesurer leur capacité à capturer des effets de langue native, en fonction de la façon dont leurs paramètres sont ajustés. Ceci nous permet par exemple d'établir que des modèles supervisés entraînés à produire des transcriptions orthographiques à partir d'enregistrements sonores ne semblent pas développer les mêmes biais que les humains quand à leur capacité de discriminations de sons natifs (obtenus à partir de leur langue d'entraînement) et non-natifs. Les données collectée nous permettent aussi de tester des théories précédemment énoncées quand à la manière dont les biais de perception des sons de langues non-natives peuvent être prédits. Ces théories accordent une grande importance aux catégories de sons de la langue native des auditeurs. Elles se basent sur l'identification des sons non-natifs comme appartenant à ces dernières pour établir la qualité de leur distinction. En utilisant ces données, nous testons d'abord le pouvoir de prédiction de ces théories, puis nous comparons leurs résultats avec ceux de prédicteurs qui eux n'utilisent pas ces catégories natives. Ces derniers sont extraits de modèles non-supervisés de représentations de la parole. Par ces comparaisons nous établissons que malgré le fait que les catégories semblent bien essentielles pour faire de bonnes prédictions, les informations non-catégorielles de ces prédicteurs semblent également cruciales. Pour compléter ces études basées sur des données comportementales de perception, nous observons la capacité d'un modèle de traitement automatique de la parole à prédire les activités cérébrales de participants de différentes origines lors de l'écoute passive d'une histoire. Cette dernière partie du manuscrit met en exergue la pertinence d'un entraînement non-supervisé pour modéliser nos processus cérébraux lors d'une tâche de perception auditive. Finalement, nous proposons plusieurs futures pistes de recherche, notamment pour tenter d'améliorer les modèles, et nous soulignons l'importance d'allier les efforts réalisés dans les domaines de la psycholinguistique et de l'apprentissage automatique.

Learning a new language is a daunting task. Even prior to the complexities of an entirely new grammar and vocabulary, the very sounds that make up a language pose difficulties: new sounds can be difficult to distinguish. Thus, for example, Japanese native speakers learning English struggle to differentiate between the sound /r/ (in right) and the sound /l/ (in light). This kind of confusion (confusing two sounds in a language other than one's own) can happen to anyone, with any native language. Our native language biases our perception of speech sounds, and this surfaces in our ability (or inability) to discriminate non-native sounds. Successfully predicting these biases and understanding their origin informs us about the rules that govern human speech processing. Moreover, non-native sound misperceptions provide an opportunity to compare computational models of speech perception to human speech perception. In this manuscript, we compare human perceptual space with the representational spaces of automatic speech processing models developed using machine learning. We make this comparison by focusing on the perception biases that arise when perceiving non-native languages. We carry out this analysis by constructing a database containing a large number of results of native and non-native sound discrimination experiments for English and French participants. This dataset allows us to evaluate various state-of-the-art speech models, and to measure their ability to capture native language effects, depending on how their parameters are fitted. It allows us to establish, for example, that supervised models trained to produce orthographic transcriptions from sound recordings do not seem to develop the same biases as humans when discriminating native sounds (from the language on which they were trained) and non-native sounds. The dataset also allows us to test existing non-native speech perception theories. These theories place great importance on native sound categories. They base their predictions of non-native sounds discriminability on the identification of these sounds as belonging to the native sound categories of the listener. Using the data we collected, we first test the predictive power of these theories. Then we compare their results with those of predictors that do not use native sound categories. These are extracted from unsupervised speech models. Through these comparisons, we establish that, despite the fact that categories seem essential to making good predictions, the non-categorical information contained in the predictors extracted from unsupervised speech models also seems crucial. To complement these studies based on perceptual behavioural data, we assess the ability of an automatic speech processing model to predict the brain activities of participants from different language backgrounds during passive listening to a story. This last part of the manuscript highlights the relevance of unsupervised training to modelling our brain processes during an auditory perception task. Finally, we propose several future avenues of research, in particular for improving models, and we underline the importance of combining the efforts made in the fields of psycholinguistics and machine learning.