Interfaces multimodales : concepts, modeles et architectures

Multimodal interfaces: concepts, models, and architectures

• Auteur / Autrice : Yacine Bellik
• Direction : J.-S. LIENARD
• Type : Thèse de doctorat
• Discipline(s) : Sciences appliquées
• Date : Soutenance en 1995
• Etablissement(s) : Paris 11

Résumé

Cette these s'inscrit dans le domaine de la communication homme-machine et plus specifiquement dans celui de la conception et de la realisation des interfaces multimodales. Les travaux de recherche presentes decrivent les nouveaux problemes poses par ce type d'interfaces et proposent des solutions qui sont testees a travers des realisations abouties. Le travail est divise en trois etapes. La premiere, a caractere exploratoire, decrit la conception et la realisation d'une interface multimodale pour une application de dessin graphique (limsi-draw). Cette premiere experimentation permet de reveler des problemes importants lies aux contraintes technologiques actuelles, de souligner l'importance du facteur temporel souvent neglige dans les interfaces classiques et de proposer une methode efficace pour la fusion des informations. Le modele d'architecture adopte est articule autour d'interpreteurs independants et d'un controleur de dialogue central utilisant des regles de decision qui permettent d'assurer une fusion robuste. Cette partie de l'etude se termine par une evaluation avec des sujets humains d'ou sont degages des enseignements interessants sur l'utilisation des modalites. La seconde etape a pour but la conception d'un outil pour la specification des interactions multimodales. Cet outil, baptise specimen, est fonde sur un modele combinant une specification par des reseaux de transitions augmentes a une specification par messages a l'aide d'operateurs de composition permettant de decrire des actions sequentielles et/ou paralleles. Par ailleurs, l'elaboration d'une methode de detection de messages repartie a travers des agents specialises permet la definition de mecanismes de fusion generaux. Dans la derniere etape, specimen est applique pour la construction d'une interface multimodale pour non-voyants (meditor). L'objectif vise est double: d'une part valider cet outil a travers une realisation concrete, d'autre part etudier l'apport de la multimodalite au probleme de l'acces aux systemes informatiques par des utilisateurs non-voyants. Des resultats preliminaires encourageants sont obtenus et des perspectives prometteuses pour une communication homme-machine intelligente combinant des modeles d'interaction anthropomorphiques et physiques sont discutees en conclusion