Techniques d'interaction avec des lunettes de réalité augmentée : application à la chirurgie augmentée. Le sujet de recherche a trait à la conception et à la réalisation de techniques d'interaction en réalité augmentée. L'application cible de cette recherche est la chirurgie orthopédique. Parmi

par Charles Bailly

Projet de thèse en Informatique

Sous la direction de Laurence Nigay et de François Leitner.

Thèses en préparation à Grenoble Alpes , dans le cadre de École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble) , en partenariat avec Laboratoire d'Informatique de Grenoble (laboratoire) et de IIHM - Ingénierie de l'Interaction homme-machine (equipe de recherche) depuis le 14-12-2017 .


  • Résumé

    Le sujet de recherche a trait à la conception et à la réalisation de techniques d'interaction en réalité augmentée. L'application cible de cette recherche est la chirurgie orthopédique. Parmi les techniques d'interaction, nous cernons le sujet en considérant l'interaction avec des lunettes semi-transparentes. Ces dernières permettent d'afficher des informations soit ancrées dans le monde physique (comme le modèle 3D d'un genou, des points de repère sur la jambe du patient) soit indépendantes du monde physique (comme des informations sur le patient, des menus déroulants). L'objectif est de cerner les principes de conception de techniques d'interaction 2D ou 3D en entrée pour interagir avec les informations affichées dans les lunettes de réalité augmentée. Ces travaux sont importants et novateurs : - Importants parce que de la qualité des interfaces peut dépendre une bonne ou une moins bonne utilisation du système de réalité augmentée dans des applications critiques de chirurgie augmentée. - Novateurs car la question des interfaces de réalité augmentée en entrée reste peu étudiée par rapport aux questions d'affichage d'information ancrée dans le monde physique, c'est-à-dire la réalité augmentée en sortie. Notre objectif est de rendre interactive la réalité augmentée pour ne pas la réduire uniquement à l'ajout d'information graphique dans le monde physique.

  • Titre traduit

    Interaction techniques with augmented reality glasses: application to augmented surgery


  • Résumé

    The doctoral research is dedicated to the design, development and evaluation of interaction techniques based on Augmented Reality (AR) glasses. The application domain that defines the hardware and software platform for the evaluation of the designed interaction techniques is the domain of orthopedic surgery and more generally speaking, of augmented surgery. Going one step further than superimposing graphics on the real world, the goal is to focus on interaction. It is now time to make a step change in the domain of augmented reality by making glass-based augmented reality interactive. To do so, different input interaction techniques that include 3D gesture recognition, foot-based interaction will be reused, extended and combined in order to define reusable interaction objects or widgets that will make the mixed world interactive. For the design, development and evaluation of input interaction techniques, we will consider interaction with digital objects anchored in the physical environment (i.e. 3D model of the knee) and with digital objects that are not attached to the physical world (i.e. a menu linked to the surgery planning).