Interface utilisateur tangible robotisée pour des interactions multimodales en réalité virtuelle

Robotised tangible user interface for multimodal interactions in virtual reality : anticipating intentions to physically encounter the user

• Auteur / Autrice : Elodie Bouzbib
• Direction : Pascal Frey, Gilles Bailly
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 20/10/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....) - Institut des sciences du calcul et des données (Paris ; 2014-....)
• Jury : Président / Présidente : Maud Marchal
• Jury : Examinateurs / Examinatrices : Vanda Luengo, Jan Gugenheimer, Sinan D. Haliyo
• Jury : Rapporteurs / Rapporteuses : Maud Marchal, Indira Thouvenin

Mots clés

Mots clés contrôlés

Toucher

Réalité virtuelle

Interfaces utilisateur (informatique)

Interaction multimodale

Mots clés libres

Interaction humain-machine (IHM)

Réalité virtuelle

Haptique

Interfaces à contacts intermittents

Interactions sans encombre

Robotic graphics

Human-computer interaction (HCI);

Virtual reality

Haptics

Unencumbered interactions

Encountered-type of haptic displays

Robotic graphics

Résumé

Les expériences en Réalité Virtuelle (RV) sont par essence multimodales : elles s’appuient sur les sens des utilisateurs. Néanmoins, l’intégration de l’Haptique - le sens du toucher - en RV reste complexe. L’objectif de cette thèse est de prodiguer du Retour Haptique cohérent, en permettant des Techniques d’Interaction intuitives dans les environnements virtuels. Je vise à laisser les utilisateurs effectuer des interactions dites "sans encombre" en RV - où les utilisateurs ne portent aucun appareillage - et promeus à cet égard la conception d’une Solution Haptique. Pour ce faire, je distingue l’intégration de l’Haptique en RV selon une approche triple : 1, J’étudie comment prodiguer des retours tactile et kinesthésique vraisemblables ; 2, Je décris les techniques d’interaction en RV, les tâches exécutées par les utilisateurs, et conçois de nouvelles méthodes les permettant. Je dérive ces deux premiers points pour apporter un Cadre d’Analyse avec des contributions méthodologiques. Je propose de nouvelles dimensions évaluant les interactions en RV via des solutions haptiques, et souligne le futur prometteur des Interfaces Haptiques à Contacts Intermittents. Je décris leurs spécifications, défis et opportunités - conceptuels et perceptuels ; 3, Je contribue ensuite à la conception et l’implémentation d’un artefact : une Interface Tangible Robotisée, CoVR. CoVR anticipe les intentions des utilisateurs intra- et inter-objets, et les encontre physiquement à l’objet d’intérêt de leur choix avant que l’interaction ne survienne. J’apporte enfin des contributions empiriques, via des évaluations techniques et d’usabilité de CoVR.

Virtual Reality (VR) experiences are by essence multimodal: they heavily rely on the users’ senses. Yet, integrating Haptics - the sense of touch - in VR is a timely and challenging topic. The goal of this thesis is to provide consistent Haptic Feedback while enabling intuitive Interaction Techniques in Virtual environments. More specifically, I aim to let the users perform unencumbered interactions in VR - where they are free of any contraption - and promote the design of a Haptic Solution in these regards. To achieve this, I discriminate the Integration of Haptics in VR through a threefold approach : 1, I investigate how to provide believable fine tactile and large kinesthetic feedback ; 2, I depict interaction techniques in VR, the tasks users perform and draw novel methods to enable them. These enable me to draw an Analytical Framework with methodological contributions. This framework proposes novel dimensions to evaluate VR interactions via their associated Haptic Solutions, and emphasizes the promising future of Encountered-Type of Haptic Displays. It then depicts their specifications, challenges and opportunities from both conception and perception perspectives ; 3, I then provide artefact contributions, and propose the conception and design of a Robotised Tangible User Interface, CoVR. CoVR anticipates the users’ intentions both within- and between-objects, to physically encounter the users at their desired object of interest prior to interaction. This thesis finally provides empirical contributions, with technical and perceptual studies around CoVR.