Ingénierie de l'interaction multimodale en entrée<br />Approche à composants ICARE - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2006

Multimodal Input Interaction
ICARE Component-based Approach

Ingénierie de l'interaction multimodale en entrée
Approche à composants ICARE

Résumé

The area of multimodal interaction has expanded rapidly since the seminal “Put that there” demonstrator
of R. Bolt that combines speech and gesture. In parallel with the development of the Graphical User
Interface technology, natural language processing and gesture recognition have made significant
progress. In addition, recent interaction paradigms such as tangible and embodied user interfaces as well
as augmented reality open a vast world of possibilities for interaction modalities. Significant achievements
have been made in terms of both modalities and real multimodal systems. Although several multimodal
systems have been built, their design and development still remains a difficult task particularly because
of a lack of reusability. In this thesis we address this problem of design and development for input
multimodal interfaces (from the user to the system). We describe a conceptual model of multimodality
as a unified framework for modalities and combinations of modalities. Based on this conceptual model,
we define a generic component-based approach called ICARE which allows the easy and rapid design,
development and maintenance of multimodal interfaces. We have developed the ICARE tool to prove
the usefulness of our component-based approach. The ICARE tool is a graphical platform that enables
the designer/developer to graphically manipulate and assemble ICARE software components in order
to specify the multimodal interaction. From this specification, the code of the multimodal interaction is
automatically generated. Five multimodal systems with different characteristics (augmented virtuality/
reality, mobile systems) have been developed with the ICARE tool.
Depuis les travaux fondateurs de R. Bolt « Mets ça là » combinant la voix et le geste, les modalités
d'interaction se sont multipliées, diversifiées et améliorées. Les récents paradigmes d'interaction
comme les interfaces tangibles incarnées ou la réalité augmentée, couplés aux progrès des systèmes
de localisation, à la miniaturisation des dispositifs, à la qualité des réseaux sans fils, à l'amélioration de
la reconnaissance de la parole ou de gestes ouvrent un vaste champ de possibilités d'interaction pour
les systèmes multimodaux. Dans ce contexte, et bien que de nombreux systèmes multimodaux soient
disponibles, leur développement et leur maintien restent encore des tâches difficiles, notamment
par manque de réutilisabilité de l'existant. Ce travail de thèse aborde ce problème de conception et
de développement pour la multimodalité en entrée (de l'utilisateur vers le système informatique).
Nous décrivons un modèle conceptuel de la multimodalité qui organise dans un canevas unificateur
les modalités et leurs formes de combinaison. Basé sur ce modèle, nous définissons une approche
générique à composants logiciels, notée ICARE, facilitant et accélérant la conception, le développement
et le maintien des interfaces multimodales. Nous démontrons l'apport de cette approche par l'outil
ICARE qui est une opérationnalisation de notre approche à composants. Un éditeur graphique est fourni,
simplifiant la phase d'assemblage des composants et générant automatiquement le code correspondant
à l'interaction multimodale. Cinq systèmes multimodaux aux caractéristiques distinctes (systèmes de
réalité augmentée, de virtualité augmentée et mobiles) ont été développés avec l'outil ICARE.
Fichier principal
Vignette du fichier
these_Jullien_Bouchet_finale.pdf (32.63 Mo) Télécharger le fichier

Dates et versions

tel-00155227 , version 1 (16-06-2007)

Identifiants

  • HAL Id : tel-00155227 , version 1

Citer

Jullien Bouchet. Ingénierie de l'interaction multimodale en entrée
Approche à composants ICARE. Interface homme-machine [cs.HC]. Université Joseph-Fourier - Grenoble I, 2006. Français. ⟨NNT : ⟩. ⟨tel-00155227⟩

Collections

UGA IMAG CNRS UJF
151 Consultations
282 Téléchargements

Partager

Gmail Facebook X LinkedIn More