Analyse de la latence et de sa compensation pour l'interaction au toucher direct : aspects techniques et humains

Analysis of the latency and of its compensation for direct-touch interaction : technical and human aspects

• Auteur / Autrice : Elie Cattan
• Direction : François Bérard, Pascal Perrier, Amélie Rochet-Capellan
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 26/09/2017
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Jury : Président / Présidente : Jocelyne Troccaz
• Jury : Examinateurs / Examinatrices : Petra Isenberg, Matthieu Rupin
• Jury : Rapporteurs / Rapporteuses : Géry Casiez, Jean-Louis Vercher

Mots clés

Mots clés contrôlés

Tests utilisateurs

Interaction multimodale

Mots clés libres

Ihm

Contrôle moteur

Latence

Hmi

Motor control

Latency

Résumé

La latence, c'est-à-dire le délai entre l'action d'un utilisateur en entrée d'un système et la réponse correspondante fournie par le système, est un problème majeur pour l'utilisabilité des dispositifs interactifs. La latence est particulièrement perceptible pour l’interaction au toucher et détériore la performance de l'utilisateur même à des niveaux de l'ordre de la dizaine de millisecondes. Or, la latence des écrans tactiles actuels (smartphones ou tablettes) est en général supérieure à 70 ms.Notre objectif est d'améliorer nos connaissances sur la latence (ses causes, ses effets) et de trouver des méthodes pour la compenser ou en diminuer les effets négatifs. Nous proposons un état de l'art des travaux en IHM sur le sujet, puis nous effectuons un rapprochement avec la littérature du contrôle moteur qui a aussi étudié le comportement humain face à des perturbations visuomotrices et en particulier l’adaptation des mouvements à un retard du retour visuel.Nous détaillons ensuite nos quatre contributions. Nos résultats contribuent de manière à la fois pratique et théorique à la résolution du problème de la latence lors de l'interaction au toucher direct. Deux contributions complètent le diagnostic de la latence : la première est une nouvelle technique de mesure de latence; la seconde est une étude de l'effet de la latence sur l'interaction bimanuelle, importante pour l'interaction sur les grandes surfaces tactiles. Nous montrons que l'interaction bimanuelle est autant touchée par la latence que l'interaction à une main, ce qui suggère que des tâches plus complexes, qui augmenterait la charge cognitive, ne réduisent pas nécessairement l'effet de la latence. Nos deux autres contributions portent sur la réduction des effets de la latence. D'une part, nous proposons un système à faible latence (25 ms) associé à une compensation prédictive logicielle, et nous mettons en évidence que ce système permet d'améliorer la performance des utilisateurs comme s'ils utilisaient un système à 9 ms de latence. D'autre part nous étudions la capacité des utilisateurs à s'adapter à la latence pour améliorer leur performance sur une tâche de suivi de cible et nous montrons que l'impact négatif de la latence se réduit sur le long terme grâce aux capacités d'adaptation humaine.

Latency, the delay between a user input on a system and the corresponding response from the system, is a major issue for the usability of interactive systems. In direct-touch interaction, latency is particularly perceivable and alters user performance even at levels in the order of ten milliseconds. Yet, current touch devices such as smartphones or tablet-pc exhibit in general latencies over 70 ms.Our goal is to improve the knowledge on latency (its causes, its effects) and to find strategies to compensate it or to decrease its negative effects. We present a review of the HCI literature on the topic, then we link this literature with the motor control research field that has studied human behaviour when facing visuomotor perturbations, and in particular the adaptation to feedback delay.We then present our four contributions. We contribute both in a practical and a theoretical manner to the problem of latency in direct-touch interaction. Two of our contributions supplement the diagnosis of latency: the first one is a new latency measurement technique; the second one is a study of the impact of latency on bimanual interaction, which is important when interacting on large tactile surfaces. We show that bimanual interaction is as much affected by latency as a single hand interaction, suggesting that more complex tasks, suppose to increase the cognitive load, do not necessarily reduce the effect of latency. Our two other contributions address the reduction of the effects of latency. On one hand, we introduce a low latency system (25 ms) associated with a predictive software compensation, and we show that the system enables users to improve their performances as if they were using a system with 9 ms of latency. On the other hand we study users' ability to adapt to latency in order to improve their performance on a tracking task, and we show that the negative impact of latency is reduced with long-term training thanks to human adaptability.