Contributions à la conception de nouvelles techniques pour interagir avec les mains en environnement virtuel

Contributions to the design of novel hand-based interaction techniques for virtual environments

• Auteur / Autrice : Merwan Achibet
• Direction : Anatole Lécuyer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2015
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - 3D interaction with virtual environments using body and mind
• Partenaire(s) de recherche : COMUE : Université européenne de Bretagne (2007-2016)
• Jury : Président / Présidente : Bruno Arnaldi
• Jury : Examinateurs / Examinatrices : Anatole Lécuyer, Bruno Arnaldi, Sabine Coquillart, Franck Steinicke, Stephen Brewster, Mehdi Ammi, Maud Marchal
• Jury : Rapporteurs / Rapporteuses : Sabine Coquillart, Franck Steinicke

Mots clés

Mots clés contrôlés

Interaction humain-machine

Toucher

Réalité virtuelle

Mots clés libres

Retours de force

Haptique

Human-computer interaction

Virtual reality

Haptic

Feedback

Résumé

Faire directement usage de nos mains pour explorer des environnements virtuels et interagir avec leur contenu permet une interaction à la fois naturelle et convaincante. Dans ce manuscrit de thèse, nous visons à améliorer l’interaction avec les mains dans le contexte de la Réalité Virtuelle en abordant deux défis majeurs : (1) faciliter le contrôle de modèles de mains articulées et (2) fournir des sensations haptiques au travers d’interfaces accessibles. Nous abordons tout d’abord l’interaction au travers de mains virtuelles articulées et proposons deux méthodes pour faciliter leur contrôle. Premièrement, nous réduisons leurs nombreux degrés de liberté de façon à pouvoir exploiter des interfaces tactiles courantes. Le système qui en résulte permet aux utilisateurs de contrôler une main virtuelle en réalisant des gestes sur la surface de la tablette. Ensuite, nous adoptons une autre approche et séparons les degrés de liberté des mains virtuelles entre deux interfaces haptiques contrôlées en parallèle. Par cette distribution des contrôles et des retours de force, les utilisateurs sont exposés à des effets haptiques variés, autrement réservés à des interfaces haptiques coûteuses. Nous abordons ensuite le sujet du retour haptique pour différents types d’interaction avec les mains. Pour cela, nous combinons des retours passifs à des retours pseudo-haptiques en tant qu’alternative à l’usage d’interfaces actives complexes et encombrantes. Dans un premier temps, nous considérons l’interaction avec les bras et proposons une armature élastique attachés à l’utilisateur qui fournit un retour de force égocentrique tout en conservant sa mobilité. Nous abordons ensuite le sujet de la saisie d’objets virtuels et proposons un nouveau paradigme d’interaction basé sur une interface élastique qui reproduit les mouvements de préhension et fournit un retour adapté et modulable par un effet pseudo-haptique. Finalement, nous considérons la manipulation fine avec les doigts et proposons un exosquelette passif qui les contraint séparément, associé à un retour pseudo-haptique multi-doigt simulant l’interaction avec des matériaux hétérogènes.

Directly using our hands to explore virtual environments and interact with their contents produces a natural and compelling interaction. In this thesis, we propose contributions to improve hand-based interaction in the context of Virtual Reality by considering two main challenges: (1) improving the control of articulated hand models, and (2) providing haptic sensations with accessible techniques. We first address the challenge of interacting through realistic, articulated virtual hands and propose two methods for easing their control. As a first step, we reduce the degrees of freedom of complex hand models in order to make multi-finger interaction possible with common multi-touch interfaces. The resulting system allows users to control a virtual hand by performing gestures over a tactile tablet. Then, we take another approach and separate the degrees of freedom of one virtual hand between two haptic interfaces handled in parallel. Through this distribution of controls and feedback, users are exposed to a variety of haptic effects, otherwise restricted to complex haptic workstations. We then address the challenge of providing haptic sensations during hand-based interaction. To do so, we introduce different techniques that combine passive haptic feedback and pseudo-haptics as an alternative to complex and cumbersome active interfaces. We consider various types of interaction at different scales, starting with coarse interaction with the arm through an elastic armature that provides an egocentric and mobile haptic feedback. We then focus on object grasping and manipulation and propose an interaction paradigm that relies on elastic input devices for reproducing grasping gestures and perceiving modulable haptic properties through crossmodal feedback. Finally, we consider fine multi-finger manipulation and we propose a passive exoskeleton that constrains the digits individually, associated to a multi-finger pseudo-haptic feedback for simulating complex interaction with heterogeneous materials.