Visuo-proprioceptive conflicts of the hand for 3D user interaction in Augmented Reality

• Auteur / Autrice : Andreas Pusch
• Direction : Sabine Coquillart
• Type : Thèse de doctorat
• Discipline(s) : Informatique et mathématiques
• Date : Soutenance en 2008
• Etablissement(s) : Grenoble INPG

Mots clés

Mots clés contrôlés

Systèmes homme-machine

Réalité augmentée

Réalité virtuelle

Résumé

Cette thèse concerne l'étude d'un conflit visuo-proprioceptif de la main appliqué à l'interaction 3D. Un cadre de travail générique est proposé afin de générer, contrôler et réduire le conflit sensoriel en cours d'interaction. Le système utilise un visiocasque semi-transparent vidéo permettant l'intégration de l'image de la main réelle dans la scène virtuelle ainsi que la manipulation visuelle de sa position 3D. Deux nouvelles méthodes sont introduites: un paradigme d'interaction intuitif pour toucher des objets virtuels et une technique pseudo-haptique active basée sur le déplacement de la main. Ces méthodes sont étudiées en considérant leurs bénéfices, limitations, effets sur le comportement de l'utilisateur et les conséquences sur la conception d'applications en environnements virtuels. Ces travaux montre que de nouvelles formes d'interaction 3D sont possible en exploitant les conflits visuo-proprioceptifs de la main. Des perspectives prometteuses sont présentées.

This thesis explores potentials of applying spatial visuo-proprioceptive conflicts of the real hand to 3D user interaction in Augmented Reality. A generic framework is proposed which can generate, manage and reduce sensory conflicts at hand level while providing a continuous interaction cycle. Technically, the system is based on a video see-through head-mounted display that allows for embedding the real hand into a virtual scene and to visually manipulate its position in 3D. Two novel methods are introduced on top of this basis: an intuitive virtual object touching paradigm and a hand-displacement-based active pseudo-haptics technique. Both approaches are studied with respect to their benefits, limitations, effects on the behaviour of the user and consequences for the design of Virtual Environments. It is demonstrated that new forms of human-computer interaction are possible exploiting the described visuomotor conflicts of the hand. Promising future perspectives are presented.