Stratégies de compréhension dans l'interaction multimodale

par Eric Brison

Thèse de doctorat en Informatique

Sous la direction de Guy Pérennou.

Soutenue en 1997

à Toulouse 3 .

mots clés

• Interfaces utilisateur (informatique)
• Traitement automatique du langage naturel
• Reconnaissance automatique de la parole

Résumé

Dans le domaine des interfaces homme-machine, les interfaces multimodales qui utilisent plusieurs modalites d'entree comme la parole et le geste sont une reponse aux interfaces de demain grace a la souplesse d'interaction qu'elles pourraient offrir vis-a-vis de l'utilisateur. Un des problemes de ces interfaces est la comprehension et l'interpretation des enonces de l'utilisateur lorsque plusieurs modalites sont utilisees en parallele. Deux approches permettant de resoudre les problemes de references intermodales, tels que ceux de l'enonce mets ca ici accompagne de deux gestes de designation, sont decrites dans ce document. L'objectif de la premiere approche, provenant de l'ingenierie des interfaces, a consiste a identifier et a resoudre les problemes de references intermodales sans considerer la signification des enonces. Elle fait l'objet de la premiere partie de ce travail de recherche. La deuxieme methode de comprehension est fondee sur des methodes issues du langage naturel. Celle-ci permet d'integrer la resolution des references intermodales dans une methode de resolution plus generale autorisant egalement la resolution d'autres references linguistiques telles que les anaphores. Cette deuxieme approche est constituee d'une partie generique dans le processus de comprehension ce qui permet une portabilite vers d'autres applications. Enfin, pour evaluer les performances de la comprehension, une methode d'interpretation basee sur une reconnaissance semantique a ete elaboree dans le cadre d'une application de conception assistee par ordinateur. Cette interpretation basee sur un apprentissage semantique d'enonces induit une methode de specification des enonces multimodaux autorises.

Titre traduit

Understanding processing for multimodal interaction

Pas de résumé disponible.