Hétéro-association de signaux audio-vidéo par réseaux de neurones

• Auteur / Autrice : David Mercier
• Direction : Pierre-Yves Glorennec
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal
• Date : Soutenance en 2003
• Etablissement(s) : Rennes 1

Mots clés

Mots clés contrôlés

Audiovisuel numérique

Reconnaissance automatique de la parole

Complexes (mathématiques)

Réseaux neuronaux (informatique)

Résumé

Ce travail de thèse poursuit la définition de la méthodologie d'utilisation des STANN en abordant deux problématiques importantes : la génération de signaux impulsionnels et l'utilisation de plusieurs modalités. Dans un premier temps, nous proposons une méthode de conversion automatique des informations continues en impulsions. Elle permet d'utiliser ces réseaux de neurones avec les mêmes prétraitements classiques que ceux utilisés avec d'autres outils comme les HMM. Puis nous effectuons une étude sur la fusion des modalités avec ce modèle spatio-temporel. De légères modifications des architectures sont proposées afin de permettre d'exploiter très simplement et sans calculs de rééchantillonnage, des modalités disponibles à des cadences différentes. Ces propositions ont été validées par l'implémentation de systèmes de reconnaissance de la parole audio, vidéo et bimodaux. Les résultats sont principalement présentés dans le cadre monolocuteur avec un apprentissage direct en un seul coup.