Exploration tactile non-visuelle des graphiques : nouvelles observations comportementales et techniques d'interaction

Non visual tactile exploration of graphics novel behavioral observations and interaction techniques

• Auteur / Autrice : Kaixing Zhao
• Direction : Christophe Jouffrais, Marcos Serrano
• Type : Thèse de doctorat
• Discipline(s) : Informatique et télécommunicatons
• Date : Soutenance le 13/07/2021
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Tiago Guerreiro
• Jury : Examinateurs / Examinatrices : Christophe Jouffrais, Marcos Serrano, Florence Bara, Thomas Pietrzak
• Jury : Rapporteurs / Rapporteuses : Nicholas Giudice

Mots clés

Mots clés contrôlés

Toucher

Handicapés visuels

Infographie

Mots clés libres

Exploration tactile

Non-visuel

Personne déficiente visuelle

Graphique numérique

Graphique tactile

Tactile exploration

Non visual

People with visual impairment

Digital graphic

Tactile graphic

Résumé

Les graphiques sont utilisés comme un outil puissant pour présenter des informations. Alors que les informations graphiques deviennent de plus en plus omniprésentes dans le travail comme dans la vie quotidienne, il est important pour les personnes ayant une déficience visuelle (VI) de pouvoir les explorer et les comprendre. Cependant, l'accès aux cartes, schémas, graphiques mathématiques, dessins, etc. est toujours un grand défi pour les personnes déficientes visuelles. Généralement, le processus d'adaptation des graphiques tactiles repose sur des méthodes maîtrisées par les documentaristes tactiles et donc difficilement réalisables en grande série. De plus, les professionnels ne savent toujours pas très bien comment les personnes déficientes visuelles organisent leurs mains lors de l'exploration de graphiques tactiles. Cependant, ces informations peuvent être utiles aux professionnels pour améliorer l'accessibilité des graphiques. Pour le premier problème, avec les développements récents des technologies informatiques, de nombreux systèmes interactifs ont été proposés. Parmi eux, certains sont des systèmes hybrides qui combinent des composants physiques et numériques à la fois tandis que d'autres sont entièrement numériques, dont les informations graphiques sont présentées directement sur des appareils numériques. Par rapport aux graphiques tactiles, bien que les graphiques numériques puissent offrir plus de flexibilité (facile à modifier), leur exploration est encore très limitée en raison du manque d'indices tactiles. Dans cette thèse, nous avons étudié la possibilité d'améliorer l'expérience d'exploration tactile des graphiques numériques en concevant une interface vibrotactile sur la main appelée VibHand, qui permet aux personnes déficientes visuelles d'explorer plus facilement les graphiques numériques sur des tablettes. Pour ce faire, nous avons étendu l'idée d'utiliser la vibration de la tablette et étudié l'utilisation d'un affichage vibrotactile sur le dos de la main pour transmettre des informations de direction et de progression. Pour le deuxième problème, des recherches antérieures ont confirmé que la conception de graphiques tactiles doit généralement prendre en compte non seulement des éléments graphiques, mais également les utilisateurs ou les tâches cibles. Cependant, il manque une méthode efficace pour évaluer le comportement d'exploration tactile des utilisateurs ainsi que leurs capacités perceptives et cognitives tout en explorant les graphiques tactiles à partir d'un niveau plus raffiné. Par conséquent, bien que nous ayons déjà observé certains comportements exploratoires organisés spéciaux, ils n'ont jamais été systématiquement discutés et évalués. Pour résoudre ce problème, nous avons mené des recherches correspondantes axées sur la compréhension de l'exploration tactile des personnes déficientes visuelles et avons proposé un marqueur comportemental (une nouvelle observation comportementale) appelé "fixation tactile". Une fixation tactile se produit lorsqu'un doigt est immobile dans une fenêtre spatiale et temporelle lors de l'exploration tactile. L'identification des fixations tactiles peut fournir des informations précieuses sur les zones saillantes des graphiques et les stratégies d'exploration des personnes déficientes visuelles. Outre les deux principaux axes mentionnés ci-dessus, dans cette thèse, nous avons également exploré la possibilité d'un apprentissage graphique collaboratif à distance qui avait une demande explosive pendant la pandémie mondiale. Le système proposé, qui s'appelle TactileLink, était basé sur un outil d'exploration graphique interactif et co-conçu avec plusieurs professionnels pour les personnes déficientes visuelles. Dans l'ensemble, cette thèse apporte des connaissances à la fois théoriques et applicatives à l'exploration tactile non visuelle des graphiques par les personnes déficientes visuelles.

Graphics are used as a powerful tool to present information and can provide people an easier way to understand abstract data representations. As graphical information becomes more and more pervasive in both work and daily life, it is important for people with visual impairments (VI) to be able to explore and understand them. However, despite tremendous efforts in HCI have focused on the accessibility issues of graphical information, access to maps, schemas, mathematical graphs, drawings, etc. is still a great challenge for people with VI. Generally, the adaptation process of tactile graphics is based on methods mastered by tactile document makers and thus difficult to conduct mass production. In addition, professionals are still not very clear about how people with VI organize their hands during the exploration of tactile graphics. However, this information may be useful for professionals to improve the accessibility of graphics. For the first problem, with the recent developments of computing technologies, many interactive systems have been proposed to augment or replace tactile graphics. Among them, some are hybrid systems which combine physical and digital components at the same time while the others are fully digital, which graphical information is presented directly on digital devices (such as commercial mobile phones or tablets). Compared with tactile graphics, although digital graphics could provide more flexibility (easy to modify), their exploration is still very limited due to the lack of tactile cues. In this dissertation, we investigated the possibility of improving the tactile exploration experience of digital graphics by designing an on-hand vibrotactile interface called VibHand, which enables people with VI to explore digital graphics on tablets more easily. To do this, we extended the idea of using the tablet vibration and studied the use of a vibrotactile display on the back of the hand to convey directional and progression information. For the second problem, previous researches confirmed that the design of tactile graphics usually needs to consider not only graphical elements, such as legends, textures, symbols, dots, lines, etc. but also the target users or tasks. However, there is a lack of an efficient method to evaluate users' tactile exploration behavior as well as their perceptual and cognitive capacities while exploring the tactile graphics from a more refined level. Therefore, although we had observed some special organized explorative behaviors before, they have never been systematically discussed and evaluated. Actually, there is a gap between tactile exploration experiences and the adaptation principles of tactile graphics. To tackle this problem, we conducted corresponding research focusing on understanding the tactile exploration of people with VI and proposed a behavioral marker (a novel behavioral observation) called "Tactile Fixation". A tactile fixation occurs when a finger is motionless within a spatial and temporal window during the tactile exploration. Identifying tactile fixations can provide valuable information on the salient areas of the graphics and the exploration strategies of people with VI. Apart from the abovementioned two core foci, in this dissertation, we also explored the possibility of remote collaborative graphics learning which had an explosive demand during the global pandemic. The proposed system, which is called TactileLink, was based on an interactive graphics exploration tool and co-designed with several professionals for people with VI. Overall, the whole dissertation contributes both theoretical and application knowledge to the non-visual tactile exploration of graphics by people with VI.