Analyse d'activité corticale pour le développement d'interfaces cerveau-machine pour la parole

Analysis of cortical activity for the development of brain-computer interfaces for speech

• Auteur / Autrice : Philémon Roussel
• Direction : Blaise Yvert
• Type : Thèse de doctorat
• Discipline(s) : Modèles, méthodes et algorithmes en biologie, santé et environnement
• Date : Soutenance le 11/06/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale ingénierie pour la santé, la cognition, l'environnement (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Institut des neurosciences de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : Neurotechnologies et Dynamiques des Réseaux
• Jury : Président / Présidente : Stéphan Chabardès
• Jury : Examinateurs / Examinatrices : Blaise Yvert, Tetiana Aksenova, Frank H. Guenther
• Jury : Rapporteurs / Rapporteuses : Benjamin Morillon, Wilson Truccolo

Mots clés

Mots clés libres

Parole

Apprentissage automatique

Décodage neuronal

Electrophysiologie

Aire de Broca

Contamination acoustique

Interface cerveau-machine

Électrocorticographie

Micro-électrodes intracorticales

Parole interne

Speech

Machine learning

Neural decoding

Electrophysiology

Broca's area

Acoustic contamination

Résumé

Les interfaces cerveau-ordinateur pour la parole pourraient permettre de restaurer la faculté de parler chez des personnes souffrant de paralysie sévère. Un tel système décoderait des caractéristiques de ce que l'utilisateur souhaite prononcer à partir de son activité cérébrale et synthétiserait les sons associés en temps réel. De récentes études montrent des résultats prometteurs en ce sens, en réalisant des décodages à partir d'enregistrements cérébraux effectués chez des participants sains parlant à voix haute. Cependant, plusieurs défis doivent être relevés pour permettre le décodage de la parole chez des personnes dans l'incapacité de parler. Cette thèse vise à contribuer au développement des interfaces cerveau-ordinateur ainsi qu'à la compréhension de l'activité corticale sous-tendant la parole.Premièrement, nous avons mis en évidence un phénomène de contamination acoustique des signaux électrophysiologiques pendant la parole. Nos analyses ont révélé que ce phénomène était présent dans plusieurs enregistrements, provenant de différents laboratoires dans le monde, et qu'il pouvait avoir un impact important sur les études de décodage de la parole en biaisant les performances obtenues. Nous avons étudié l'origine de ce phénomène et proposé une méthodologie pour le quantifier.Il est attendu que l'activité corticale de sujets paralysés essayant de parler soit partiellement différente de celle de sujets sains s'exprimant à voix haute, en particulier à cause de l'absence de retours auditif et somatosensoriel. Comprendre les différences entre ces deux conditions est important pour savoir si les modèles actuellement développés sur la parole à voix haute seraient facilement applicable à des personnes paralysées. Dans cette optique, étudier la parole imaginée chez des participants sains permet d'étudier l'activité sous-tendant la parole en l'absence de retours sensoriels, comme c'est le cas chez les personnes paralysées.A partir d'un enregistrement intracortical, nous avons montré que la dynamique de l'activité d'une population de neurones dans l'aire de Broca était différente pendant la parole à voix haute et imaginée. De plus nous avons trouvé que l'arrangement temporel des potentiels d'action enregistrés pendant la prononciation de phrases permettait de discriminer ces phrases. La similarité des trains de potentiels d'action s'est avérée être corrélée à la similarité phonologique des phrases. Enfin, à partir du même enregistrement, nous avons montré que la composante basse fréquence de potentiels de champ locaux était modulée par la parole à voix haute et dans une moindre mesure par la parole imaginée.Un autre obstacle concernant le décodage de la parole interne chez des participants en incapacité de parler est la difficulté de calibrer le décodeur. En effet, en l'absence de signaux comportementaux il est n'est alors pas possible de connaitre précisément le timing auquel le participant imagine parler. Nous avons donc testé, chez un participant non-paralysé, un protocole permettant de construire un décodeur de parole imaginée à partir d'activité électrophysiologique. Nos analyses a posteriori ont montré qu'il était possible de décoder des caractéristiques acoustiques de phonèmes imaginés avec des performances statistiquement supérieures à la chance. Nous avons également réalisé chez le même participant un test préliminaire de décodage en temps réel et en boucle fermée.

Brain-computer interfaces for speech have the potential to restore the ability to speak in people with severe paralysis. Such a system would decode features of what the user wants to say from their brain activity and synthesize the associated sounds in real time. Recent studies show promising results in this direction by decoding speech from brain recordings of healthy participants speaking aloud. However, several challenges must be overcome to enable speech decoding in people unable to speak. This thesis aims to contribute to the development of brain-computer interfaces and to the understanding of cortical activity underlying speech.First, we highlighted a phenomenon of acoustic contamination of electrophysiological signals during speech. Our analyses revealed that this phenomenon was present in several recordings from different laboratories around the world and that it could have an important impact on speech decoding studies by biasing the obtained performances. We studied the origin of this phenomenon and proposed a methodology to quantify it.It is expected that the cortical activity of paralyzed subjects attempting to speak is partially different from that of healthy subjects speaking aloud, in particular because of the absence of auditory and somatosensory feedback. Understanding the differences between these two conditions is important to know if the models currently developed on overt speech would be easily applicable to paralyzed people. In this perspective, studying covert speech in healthy participants allows us to study the activity underlying speech production in the absence of sensory feedback, as it is the case for people with paralysis.Using an intracortical recording, we showed that the dynamics of the activity of a population of neurons in Broca's area were different during overt and covert speech. Moreover, we found that the temporal arrangement of action potentials recorded during the pronunciation of sentences allowed to discriminate these sentences. The similarity of spike trains appeared to be correlated with the phonological similarity of the sentences. Finally, using the same recording, we showed that the low frequency component of local field potentials was modulated by overt speech and to a lesser extent by covert speech.Another obstacle concerning the decoding of attempted speech in participants unable to speak is the difficulty to calibrate the decoder. Indeed, in the absence of behavioral output, it is not possible to know precisely the timing at which the participant attempts to speak. We therefore tested, in a non-paralyzed participant, a protocol allowing to build a covert speech decoder from electrophysiological activity. Our offline analyses showed that it was possible to decode acoustic features of imagined phonemes with performances statistically superior to chance. We also performed a preliminary test of real-time, closed-loop decoding in the same participant.