Techniques d'interaction homme-machine pour la réalité augmentée et la réalité virtuelle sur dispositifs mobiles

par Patrick Perea

Projet de thèse en Informatique

Sous la direction de Laurence Nigay et de Denis Morand.

Thèses en préparation à Grenoble Alpes , dans le cadre de École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble) , en partenariat avec Laboratoire d'Informatique de Grenoble (laboratoire) et de IIHM - Ingénierie de l'Interaction homme-machine (equipe de recherche) depuis le 14-11-2016 .


  • Résumé

    Le sujet de recherche de Monsieur Patrick Perea a trait à la conception et à la réalisation de techniques d'interaction dans le contexte de la Réalité Augmentée (RA) sur dispositifs mobiles. Le dispositif mobile est utilisé comme une lentille magique qui 'augmente' la perception de l'environnement physique avec du contenu numérique. Les environnements physique et numérique peuvent être statiques ou dynamiques. Par exemple l'état de l'automate d'une machine de production dans le monde physique est dynamique. De plus des éléments numériques peuvent être ajoutés dynamiquement dans l'environnement physique que ce soit par le système ou par un utilisateur distant dans le cas de la RA mobile collaborative. Dans ce contexte un aspect saillant de la RA repose sur les relations spatio-temporelles entre le contenu affiché à l'écran et l'environnement physique. En effet la combinaison des environnements physique et numérique repose sur ces relations spatio-temporelles, comme l'adaptation de l'augmentation numérique en fonction de la localisation de l'utilisateur (relation spatiale). Ces relations définissent aussi des contraintes pour l'interaction. Par exemple l'effet des tremblements naturels de la main rend instable la vidéo affichée sur l'écran du dispositif mobile et par conséquent a un impact direct sur la précision d'interaction que ce soit par l'utilisateur tenant le dispositif mobile ou l'utilisateur distant qui souhaite indiquer une direction ou ajouter une annotation dans le monde physique. La question de recherche est alors comment maintenir la co-localisation physique-numérique : - en relâchant les contraintes spatiales comme naviguer dans le monde numérique sans se déplacer dans le monde physique ou stabiliser momentanément la position dans le monde physique ; - en relâchant les contraintes temporelles comme naviguer dans le temps. Ces deux questions font écho à des besoins utilisateurs dans le cas de la maintenance de machines de production que ce soit pour une tâche individuelle ou collaborative avec un utilisateur-expert distant : par exemple comment accéder à l'état d'un capteur d'une machine qui n'est pas directement visible de la position courante de l'opérateur, ou aider l'expert distant à annoter le monde physique ou encore comment accéder à l'historique des actions de maintenance sur un capteur donné. L'évaluation des techniques d'interaction conçues et développés définit un aspect complémentaire de ces travaux. En nous reposant sur la complémentarité du laboratoire de recherche et de la société, notre objectif est aussi de confronter deux types d'évaluation des techniques d'interaction : - Evaluation contrôlée de laboratoire que l'équipe IIHM du LIG mène classiquement et – Evaluation en contexte avec les utilisateurs cibles. L'objectif de recherche ici est de confronter les résultats des deux types d'évaluation et d'étudier les compromis en conception de techniques d'interaction entre gain de performance et acceptation/utilisabilité en contexte d'usage. Ceci est possible grâce au contexte de collaboration entre le laboratoire LIG-IIHM et la société Schneider Electric. Le domaine d'application qui constitue le cadre matériel et logiciel pour l'évaluation des techniques d'interaction en contexte est le domaine de la maintenance de machines de production. Néanmoins les techniques d'interaction conçues développées et évaluées seront génériques et pourront s'appliquer à d'autres domaines applicatifs.

  • Titre traduit

    Human-computer interaction techniques for augmented reality on mobile devices


  • Résumé

    The research topic relies on the design and implementation of Augmented Reality (AR) interaction techniques on mobile devices. The mobile device is used as a magic lens that “increases” the perception of the physical environment with digital content. The physical and digital environments can be static or dynamic. For example, the state of a production machine's controller in the physical world is dynamic. More digital items can be added dynamically in the physical environment either by the system or by a remote user in the case of mobile AR. An aspect of the AR relies on the spatial and temporal relationships between the content displayed on the screen and the physical environment. These relationships also define constraints on the AR interaction. For example, the effect of natural hand tremors makes the video displayed on the mobile device unstable and therefore has a direct impact on the accuracy of the interaction. The question is how to maintain the physical-digital co-location: - By releasing the spatial constraints like navigating into the digital world without moving in the physical world or temporarily stabilizing the position in the physical world; - By releasing the temporal constraints like navigating through time. Both issues match users' needs to maintain production machines, whether for an individual task or for a collaborative work with a remote expert-user: for example, how to access the state of a machine's sensor that is not directly visible from the current position of the operator, how to help a remote expert to annotate the physical world or how to access the history of the maintenance actions on a given sensor? The evaluation of the developed techniques of interaction defines a complementary aspect of this work. The aim is to compare two types of assessments: - Controlled evaluation in laboratory that the LIG's IIHM team is used, to lead - Evaluation in the company with the final users. The objective of the research is to confront the results of both types of evaluation and to study the compromise between performance gain and acceptance/usability in context of use. This is possible thanks to the collaboration between the LIG-IIHM laboratory and the Schneider Electric company. The field of application for assessing AR interaction techniques is the maintenance of production machines. Nevertheless the conceived, developed and evaluated techniques of interaction will be generic and be able to apply to other fields.