Apprentissage non supervisé de modèles multilingues de représentation dela parole, une approche inspirée des sciences cognitives

Multilingual and unsupervised models of speech representation, a cognitive science inspired approach

• Auteur / Autrice : Maureen De seyssel
• Direction : Emmanuel Dupoux
• Type : Projet de thèse
• Discipline(s) : Sciences cognitives
• Date : Inscription en doctorat le ; Soutenance le 27/11/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement
• Partenaire(s) de recherche : Laboratoire : Laboratoire de sciences cognitives et psycholinguistique (1985-....)
• Partenaire(s) de recherche : Equipe de recherche : CoML - Cognitive Machine Learning
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Martine Adda-decker
• Jury : Examinateurs / Examinatrices : Emmanuel Dupoux, Hao Tang, Odette Scharenborg, Maria Giavazzi, Hervé Bredin, Casey Lew-williams
• Jury : Rapporteurs / Rapporteuses : Hao Tang, Odette Scharenborg

Mots clés

Mots clés libres

Unsupervised speech processing

Sciences cognitives

Psycholinguistique

Multilingue

Apprentissage machine

Unsupervised speech processing

Multilingual

Cognitive sciences

Psycholinguistics

Machine learning

Résumé

La parole, essentielle à l’acquisition du langage, véhicule différents types d’informations. Parmis elles, celles linguistiques (propres au sens du message communiqué) et in- dexicales (liées à l’identité du locuteur, dont la langue parlée). Dans cette thèse, nous nous intéressons à la manière dont les nourrissons traitent ces deux types d’informations. Nous explorons de quelle façon les spécificités de l’environnement linguistique d’un nourrisson, en particulier l’exposition à des langues multiples et diverses, façonnent leur perception de la parole. Nous nous demandons également si la représentation des informations indexicales, et des langues en particulier, peut influencer l’apprentissage linguistique. En adoptant une approche de modélisation computationnelle, nous modélisons la représentation des informations indexicales et linguistiques lors de la perception de la parole chez le nourrisson, en tirant parti des avancées récentes en matière d’apprentissage automatique et de traitement de la parole. Par conséquent, nos contributions ont des implications significatives à la fois pour les sciences cognitives et pour le traitement de la parole. Tout au long de cette thèse, nous modélisons tour à tour la perception indexicale de la parole et la perception linguistique de la parole (qui implique la simulation de l’acquisition du langage) à partir de parole comme seule donnée d’entrée, sous différentes conditions, et en mettant particulièrement l’accent sur l’entrée de parole multilingue. Cette modélisation est passée par le développement de structures et de mesures appropriées pour des simulations d’apprentissage linguistique. Notre travail nous permet de souligner les avantages de la modélisation informatique dans la perception de la parole et l’apprentissage du langage chez le bébé, en fournissant des lignes directrices pour une telle approche. Ces simulations nous permettent également d’éclairer certaines hypothèses sur le traitement de la parole chez les nourrissons en servant de preuves de concept. Nous avons constaté que les mécanismes d’apprentissage statistique étaient suffisants pour simuler l’acquisition précoce du langage chez les nourrissons monolingues. Cependant, bien que nous ayons constaté un apprentissage linguistique avec les mêmes mécanismes avec des données d’entrées bilingues, nous n’avons pas pu reproduire les tendances observées chez les nourrissons bilingues. Ceci pourrait suggérer que ces mécanismes statistiques ne sont pas suffisants dans leur processus d’apprentissage du langage. Pour finir, nous examinons également les implications de notre travail dans le domaine du traitement de la parole, en discutant de l’effet de la distance linguistique et de l’interférence négative.

Speech, serving as a key input in the early language acquisition process, carries different types of information. This includes linguistic information - denoting the inherent meaning of the communicated message - and indexical information - which is tied to the speaker’s identity (including the identity of the language spoken). In this thesis, we are interested in how infants process these two types of information. We explore how the specificities of an infant’s language environment, particularly exposure to multiple and diverse languages, shape their speech perception abili- ties. We also question whether the representation of indexical information, and language(s) in particular, can influence linguistic learning. Adopting a computa- tional modelling approach, we model infant speech perception for indexical and linguistic information, leveraging recent advancements in machine learning and speech processing. Consequently, our contributions have significant implications for both cognitive science and speech processing. Throughout this thesis, we, in turn, model indexical speech perception and linguistic speech perception (which involves simulating early language acquisition) from raw speech input, with varying input patterns and conditions, with a par- ticular focus on multilingual speech input. This modelling became feasible due to our development of suitable frameworks and measures for appropriate learning simulations of speech perception and early language acquisition. Our work allows us to underscore the advantages of computational modelling in speech perception in infants, providing guidelines for such an approach. These simulations also enable us to shed light on some hypotheses behind infants’ speech processing by serving as proofs of concept. We found that statistical learning mechanisms were enough to simulate early language acquisition in monolingual infants. However, although we found some linguistic learning with the same mechanisms when given bilingual input, we could not replicate bilingual infants’ patterns, potentially suggesting that these statistical mechanisms are not sufficient in their language learning process. We also discuss how our work has implications in the speech processing field, discussing the effect of language distance and negative interference.