Étude de nouvelles techniques d’interaction en situation de mobilité avec des lunettes électroniques pour le domaine de la santé

Study of new interaction techniques in mobility context with smart glasses for healthcare

• Auteur / Autrice : Ilyasse Belkacem
• Direction : Benoît Martin, Isabelle Pecci
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/05/2019
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Conception, Optimisation et Modélisation des Systèmes (Metz)
• Jury : Président / Présidente : Laurence Nigay
• Jury : Examinateurs / Examinatrices : Catherine Plaisant, Eric Lecolinet, Mathieu Raynal
• Jury : Rapporteurs / Rapporteuses : Laurence Nigay, Christophe Kolski

Mots clés

Mots clés contrôlés

Réalité augmentée

Réalité virtuelle en médecine

Systèmes d'affichage

Lunettes

Internet des objets

Mots clés libres

Lunettes électroniques

Santé

Contexte

Mobilité

Smart glasses

Healthcare

Context

Mobility

Résumé

Les dispositifs mobiles tels que les smartphones, les montres connectées ou les lunettes électroniques ont révolutionné la façon dont nous interagissons. Les lunettes électroniques nous intéressent, car elles fournissent aux utilisateurs une vision simultanée des mondes physique et numérique. Cependant, l’interaction sur les lunettes électroniques n’est pas bien explorée. L’amélioration de l’interaction sur ce dispositif peut convaincre les utilisateurs à l’utiliser plus dans la vie quotidienne. Le sujet de thèse est focalisé sur l’étude et le développement de nouvelles techniques d'interaction avec les lunettes électroniques. En effet, il n'est pas possible d'interagir aussi finement en mobilité ou en situation d'urgence par rapport à une situation stable telle qu’assis devant un bureau. Notre contexte de travail se situe dans le domaine de la santé et en particulier celui du personnel médical visitant un patient dans un hôpital. Le personnel médical doit pouvoir accéder aux données du patient déjà collectées, obtenir des données physiologiques en temps réel, préparer son diagnostic et communiquer avec ses collègues. Le verrou scientifique pour la thèse ici est de trouver des solutions qui permettent au personnel médical de réaliser ces tâches de façon plus précise et moins contraignante. Le but est de rendre plus efficace le diagnostic et le partage d’informations et de faire d'un dispositif encore non maîtrisé un outil fonctionnel en milieu professionnel de la santé. Dans cette optique, les travaux de cette thèse présentent des contributions théoriques et applicatives. Nous avons tout d’abord répertorié les différents travaux effectués dans le cadre des lunettes électroniques pour le domaine de la santé, tout en indiquant le potentiel, les résultats pertinents et les limites. Nous nous sommes focalisés sur les lunettes électroniques pour afficher et manipuler les dossiers patients. D’un point de vue conceptuel, nous avons proposé un espace de conception à huit dimensions pour identifier les lacunes dans les systèmes existants et aider à la conception de nouveaux systèmes. D’un point de vue applicatif, en interaction en sortie, nous avons introduit une technique appelée K-Fisheye sur une interface à tuiles qui permet de parcourir un grand ensemble de données comme celui présent dans le dossier patient. Nous avons utilisé ensuite l’espace de conception pour porter un système existant sur les lunettes électroniques. Le prototype obtenu s’appelle mCAREglass. En interaction en entrée, nous avons exploré quatre techniques de pointage sur les lunettes électroniques avec la norme ISO 9241-411 pour sélectionner les techniques qui ne sont pas contraignantes pour naviguer dans le dossier patient. Ensuite, nous avons conçu une nouvelle technique d’entrée de texte appelé TEXTile qui permet de saisir du texte sur un tissu interactif communiquant avec les lunettes.

Mobile devices such as smartphones, smartwatches or smart glasses have revolutionized how we interact. We are interested in smart glasses because they have the advantage of providing a simultaneous view of both the physical and the digital worlds. However, the interaction for smart glasses is not well explored. More suitable interactions on this device can convince users to use it more in everyday life. The thesis subject is focused on the study and development of new interaction techniques with smart glasses. Indeed, it is not possible to interact so finely in mobility or in an emergency situation compared to a stable situation such as sitting in front of a desktop. The work context is in the health field and in particular a healthcare professional visiting his patient in a hospital. The professional must be able to access the patient's data already collected, obtain physiological data in real time, prepare his diagnosis and communicate with his colleagues. The scientific problem for the thesis here is to find solutions that allow him to perform these tasks in a more precise and less restrictive way. The goal is to make the diagnosis and information sharing more effective and to make a device still uncontrolled a functional system in a professional healthcare environment. In this perspective, the work of this thesis presents theoretical and applicative contributions. We first listed the various work performed in the context of smart glasses for the health field, while indicating potential, relevant results and limitations. We focused on smart glasses to visualize and manipulate patient records. From a conceptual point of view, we have proposed an eight-dimensional design space to identify gaps in existing systems and assist in the design of new systems. From an application point of view, for output interaction, we introduced a technique called K-Fisheye on a tile-based interface that allows the user to browse a large dataset like in the health record. We used the design space to adapt an existing system for the smart glasses. The prototype obtained called mCAREglass. For input interactions, we studied four pointing techniques on smart glasses. We used the ISO 9241-411 standard to select techniques easy to use for exploring the health record. Finally, we designed a new text entry technique called TEXTile by using a new interactive fabric communicating with glasses.