Intégration de l’interaction au regard dans des systèmes optroniques : évaluation de l’influence du contexte

Integration of eye-gaze based interaction in optronic systems : evaluating the context

• Auteur / Autrice : Romain Grosse
• Direction : Dominique Lenne, Indira Thouvenin
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Sciences et Technologies de l’Information et des Systèmes : Unité de recherche Heudyasic (UMR-7253)
• Date : Soutenance le 09/04/2018
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale 71, Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Heuristique et Diagnostic des Systèmes Complexes [Compiègne] / Heudiasyc

Mots clés

Mots clés contrôlés

Modèles mathématiques

Interfaces utilisateur (informatique)

Interaction humain-machine

Systèmes homme-machine

Informatique sensible au contexte

Interaction multimodale

Perception visuelle

Oeil

Regard

Optoélectronique

Mots clés libres

IHM

Human-machine systems

Interaction modality

Eye-based Interaction

Context

Optronicsystems

Military

Résumé

Les nouvelles versions de produits optroniques de Safran Electronic & Defense comme les jumelles multifonctions ou les lunettes de visée disposent de plus en plus de fonctionnalités, ce qui rend nécessaire une amélioration des dispositifs d’interaction mis à disposition des utilisateurs. L’intégration du regard comme modalité d’interaction semble notamment intéressante en raison de son caractère rapide, naturel et disponible. Si pour des utilisateurs handicapés, l'interaction au regard est déjà bien développée, elle n'est pas encore une technologie mature pour des personnes valides. Lors d'interactions actives au regard, expressions explicites de l'intention d'agir d'un utilisateur, un problème appelé Midas Touch apparait : il s'agit de l'incapacité pour un utilisateur de dissocier les phases d'analyse et les phases d'action, parce que l’œil est avant tout un organe senseur. Plusieurs modalités d'interaction au regard cherchent à outrepasser ce problème : on peut par exemple utiliser un temps de fixation minimum sur un item pour l'activer (DwellTime) ou un temps de fixation minimum sur un item spécifique disposé à côté de l'item d'intérêt (DwellTime délocalisé) ou encore associer une autre modalité d'interaction pour spécifier l'intention d'activation (multimodalité oeil-bouton). Chacune de ces modalités dispose d'avantages et d'inconvénients spécifiques, et déterminer la modalité d'interaction la plus adaptée n'est pas une question triviale. C'est d'autant plus difficile que les performances des modalités semblent dépendre de facteurs extérieurs variables, c'est-à-dire du contexte d'utilisation de la modalité. Afin de mieux intégrer le suivi du regard dans des systèmes et de choisir quelle modalité utiliser, il est nécessaire de bien comprendre quels sont les éléments du contexte de l'interaction et comment ils agissent sur les modalités. Le but de cette thèse est de modéliser le contexte de la modalité d'interaction, c'est-à-dire de déterminer l'ensemble de éléments extérieurs à la modalité pouvant en influencer les performances. A partir d'un état de l'art et d'une étude de l'interaction au regard, nous proposons une séparation de ce contexte en quatre axes : l'utilisateur, la tâche, le système et l'environnement. Chacun de ces axes correspond à un ensemble de caractéristiques dont l'influence est justifiée par des travaux antérieurs ou par des raisonnements théoriques. Malgré une préférence des utilisateurs novices pour la multimodalité, en étudiant le contexte des modalités d'interaction, nous montrons qu'une interaction à base de temps de fixation est surement plus adaptée pour une intégration dans des systèmes optroniques. L'étude d'autres caractéristiques du contexte permettra d'affiner ces résultats et d'identifier la modalité d'interaction adéquate à une situation donnée.

New versions of Safran Electronics & Defense optronic products such as infrared binoculars or firearm sights are endowed with more and more functionalities. This leads to a need in the improvement of the user interface of those systems. The integration of eye-gaze bases interaction modalities seems interesting because of the speed, the naturalness and the availability of the eye. The eye-gaze based interaction is already well developed for impaired people but is not a mature technology for healthy people yet. During active eye-based interactions, which are explicit input from the user, a problem named Midas Touch arises. It consists in the in the incapacity of the system to differentiate scene analysis and voluntary user input. This is because the eye is a sensory organ over all. To overcome this problem, several interaction modalities have been designed: Dwell Time uses for example a minimum gaze dwell duration to trigger input, but the fixation area may also be located near the item to activate (relocated Dwell Time). It is also possible to associate the eye with another input modality such as a press button to indicate the intent from the user (multimodality eye-button). Each of these modalities has pros and cons and cherry-picking the most suitable to a given situation is not trivial. Moreover, the performances of the interaction modalities seem dependent from external variables, which represents the context of an interaction modality. To integrate eye-based interaction in systems and to choose which modality to use, it is necessary to identify what are the context characteristics and how they affect the modalities. Our goal is to propose an interaction modality context model,; that is to define all the external characteristics affecting the modality performances. From a state of the art of the eye-based interaction, we propose a description of the context following four axes: the user, the task, the system and the environment. Each of these axes decomposed in characteristics whose influence is justified by previous works or theoretical reasonings. Then we studied three characteristics which appeared to us as critical for the integration in optronic products, and we compared the performances of precited modalities against these characteristics. The first one is the type of menu (linear or circular). Contrary to the mouse, the tested interaction modalities present no significative differences depending on the type of menu they are used on. The second characteristic is linked to the user task. The aim is to evaluate the adequacy of interaction modalities with one’s ability to split his/her visual attention, that is, to fixate an area while being visually focused elsewhere. This skill is necessary during target following tasks. The fixation-based modalities seemed more permissive concerning this ability. The third characteristic is about peripheral visual alert detection in order to ensure that the user can be warned at all time. Fixation based modalities seemed to less reduce the visual field than others. Despite novice user preferences for the use of multimodality, we showed that fixation-based modalities may be more adequate for use in optronic systems. The further study of other characteristics of the context will allow to highlight the modality to use for each situation.