reconnaissance et génération automatique du Cued Speech utilisant l'apprentissage profond

Automatic recognition and generation of Cued Speech using deep learning”

• Auteur / Autrice : Sanjana Sankar
• Direction : Denis Beautemps, Thomas Hueber
• Type : Projet de thèse
• Discipline(s) : Signal Image Parole Télécoms
• Date : Inscription en doctorat le 01/02/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Grenoble Images parole signal automatique (2007-....)

Mots clés

Mots clés libres

Cued speech

Apprentissage profond

Reconnaissance

Image video

Deep learning

Cued speech

Video images

Recognition

Résumé

Le Cued speech (CS) ou Langue française Parlée Complétée pour le français est un système dédié aux personnes sourdes à bases de gestes de la main pour la communication parlée. Il est composé d'un ensemble de formes de mains spécifiques placées à des positions particulières sur le visage ou sur le côté venant en appoint du mouvement des lèvres pour désambiguïser la lecture des lèvres et ainsi rendre complètement visible les phonèmes d'une langue donnée. L'objectif de la thèse est double: 1) concevoir un système visant à décoder automatiquement le CS en texte, 2) générer automatiquement des vidéos réalistes d'un interprète virtuel en CS à partir du texte. Ces modules sont nécessaires pour construire des systèmes de dialogue pour personnes sourdes. Le candidat retenu exploitera les techniques avancées en apprentissage profond pour modéliser les relations complexes entre lèvres, gestes de la main du CS et texte. Le plan de travail est : 1) l'extension des bases de données existantes à de nouveaux codeurs interprètes en CS en langues française et anglaise enregistrés en vidéo et en capture 3D du mouvement, 2) développer des méthodes de mapping séquence-à-séquence (s'appuyant par exemple sur des architectures de type Transformer et GAN) pour décoder le CS en texte, 3) développer les techniques de génération vidéo s'apuyant sur les techniques GAN pour synthétiser automatiquement des gestes réalistes du CS à partir du texte. Une période (M12-M13 et M24-M25) de détachement est prévue chez la société IVèS et à l'Université Libre de Bruxelles ULB (M19-M20). IVèS est très bien identifiée en France à Grenoble et Toulouse (cette société vient d'acquérir la société ELIOZ) dans le développement de services relais de téléphonie dédiés aux personnes sourdes. De son côté l'ULB apportera son expertise en développement du langage chez les enfants sourds, et notamment ceux équipés d'un implant cochléaire.

Cued speech (CS) is a gesture-based communication system used by deaf people. It uses a set of specific hand shapes and positions to complement the lip information and make all phonemes of a given spoken language clearly visible. The goal of this PhD project is two folds: 1) designing systems aiming at decoding automatically CS into text, 2) generating automatically realistic videos of a “virtual” CS interpreter from text. These modules are the necessary building block of a dialogue systems for deaf people. The successful candidate will investigate advanced deep learning techniques to model the complex relationships between lips, hand gestures, and text in CS. The proposed work plan is the following: 1) extending existing datasets by recording new CS interpreters in both French and English using video and 3D motion capture technique, 2) investigating sequence-to-sequence mapping techniques (based for example on the transformer architecture and GANs) to decode CS into text, 3) investigated video generation techniques based on Conditional VAE or GAN to synthesize automatically realistic CS gestures from text. A secondment will take place at the IVèS company (M12-M13 and M24-M25) and at ULB Université Libre de Bruxelles (M19-20). IVèS has developed a strong expertise in phone platform for deaf people integrating end-users aspects and is very well identified at French national and international levels and especially in Grenoble, Toulouse (IVèS had recently acquired the ELIOZ company), and in Montreal. The expertise of the ULB in language development will enable the ESR to evaluate the different technical solutions in relation with language abilities of children with Hearing Implants.