Reseaux neuro-flous et reconnaissance des traits phonetiques pour l'aide a la lecture labiale

par ROBERT SOKOL

Thèse de doctorat en Sciences appliquées

Sous la direction de G. MERCIER.

Soutenue en 1996

à Rennes 1 .

mots clés

Résumé

Cette these porte sur l'utilisation des systemes de reconnaissance automatique de la parole en vue de faciliter l'acces des personnes sourdes aux moyens de telecommunication. Deux types de communication sont envisages. Dans le premier cas, il s'agit d'utiliser un systeme de reconnaissance de phonemes dans le cadre d'une communication telephone minitel. On se sert ici du module de decodage acoustico-phonetique du systeme de reconnaissance automatique de la parole keal mercier, 95 pour afficher les phonemes chez le correspondant sourd. Notre travail a consiste en une amelioration des performances de cette machine phonetique (meilleure identification, segmentation, extension a plusieurs locuteurs). Dans le deuxieme cas, il s'agit d'une communication de type visiophonique. Dans le cadre d'une telle communication, le correspondant sourd effectue une reconnaissance de la parole de son correspondant par la lecture labio-faciale, mais l'intelligibilite n'est pas toujours totale. Le probleme d'intelligibilite est surtout lie a l'existence de ce que l'on appelle les sosies labiaux c'est-a-dire de groupes de phonemes qui presentent des formes identiques au niveau des levres. Dans ce cadre nous voulons faciliter la communication pour le correspondant sourd par un affichage de marqueurs (codes visuels) destines a lever les ambiguites labiales. Etant donne que ces marqueurs sont lies aux traits phonetiques, nous avons developpe un systeme automatique de reconnaissance de traits. Pour son developpement nous avons utilise une technique neuronale particuliere (les reseaux neuro-flous). Cette technique nous permet d'integrer des connaissances a priori, provenant de keal, dans une structure neuronale. Ce qui nous a interesse, c'est l'inclusion des connaissances dont nous disposons dans le systeme keal dans une structure de type neuronale et l'evaluation de l'apport de ces elements par rapport a un modele sans connaissance a priori. Afin de valider experimentalement notre approche aupres d'usagers potentiels nous avons realise une maquette de demonstration de notre systeme d'aide a la lecture labiale. Cette maquette consiste en un affichage de codes visuels sur l'ecran d'un pc. Les premiers tests realises avec des personnes sourdes nous ont permis de constater que les codes visuels lies aux traits phonetiques peuvent aider les personnes sourdes a lever les ambiguites labiales de maniere efficace

Titre traduit

Neural-fuzzy networks and phonetic feature recognition as a help for lipreading

Pas de résumé disponible.