Conception et évaluation de techniques d'interaction non visuelle optimisées pour de la transmission d'information

Design and evaluation of techniques non-visual interaction optimized for the transmission of information

• Auteur / Autrice : Damien Appert
• Direction : Emmanuel Dubois, Christophe Jouffrais
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/05/2016
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)

Mots clés

Mots clés contrôlés

Interaction humain-machine

Échange électronique d'information

Mots clés libres

Interaction non-visuelle

Multimodalité

Estimation de valeurs

Technique d'interaction active

Technique d'interaction avec références

Technique d'assistance

Non-visual interaction techniques

Multimodality

Value estimation

Echnique with references

Technique with references

Technique of assistance

Résumé

Dans des situations où la perception visuelle est fortement contrainte ou déficiente, il est nécessaire de rendre perceptible l'information dans une modalité non visuelle, tout en prenant en compte des capacités sensorielles et mnésiques humaines. Par exemple, un non-voyant, souhaitant prendre connaissance d'un itinéraire, devra le parcourir de façon non visuelle et le mémoriser. Cependant, outre l'aspect matériel, la mise en œuvre de solutions alternatives (non visuelles) demeure confrontée aux capacités cognitives de l'utilisateur (compréhension, mémorisation, intégration de plusieurs informations, etc.). L'objet de cette thèse est de contribuer à la conception de techniques d'interactions permettant d'optimiser la transmission non visuelle d'informations. A ces fins, j'ai exploré l'apport de la multimodalité comme moyen d'optimisation permettant d'outrepasser les limites de la mémorisation. Je me suis concentré sur l'étude des techniques d'interaction basées sur les modalités auditives et tactiles, en limitant au maximum l'utilisation de la parole, afin de concevoir des techniques pour des environnements différents (flexibilité), d'optimiser l'utilisation de canaux perceptifs (exploitation des propriétés du son dans des messages audio pour transmettre plus d'informations, par exemple), d'éviter de limiter mes techniques par la barrière de la langue ou de sa compréhension et enfin, pour explorer d'autres solutions que la synthèse vocale seule. Les travaux de ma thèse ont mené à la conception, à l'implémentation et à l'évaluation de techniques d'interaction multimodale non visuelle, en réponse à différents contextes, dont, en particulier, ceux de la transmission d'informations de type <valeur>, <position> (couple de coordonnées) et <itinéraire> (séquence de couples direction-distance). Pour parvenir à concevoir mes interactions, j'ai, tout d'abord, effectué une revue de la littérature, afin d'en extraire les principaux facteurs de conception de techniques d'interaction dédiées à la transmission non visuelle d'information. Puis, j'ai organisé ces facteurs sous la forme d'un cadre d'analyse, sur lequel je me suis appuyé pour concevoir chacune de mes techniques. Trois expériences distinctes ont permis d'évaluer l'influence de facteurs de conception sur l'efficacité des interactions et la satisfaction des utilisateurs vis-à-vis des techniques. Je peux, notamment, citer l'implication des utilisateurs (actif ou passif), la présence d'aides explicites", la transmission de plusieurs informations en parallèle et la modalité principale utilisée et, le type de codage dans lequel est encodée l'information.

In situations where the visual perception is strongly constraint or deficient, it is necessary to make perceptible the information with a "not visual form" while taking into account human sensory and mnesic capacities. For example, a blind person wishing to acquaint an itinerary must read it under a non visual form and memorize it. However, besides the material aspect, the implementation of alternatives (non-visual) still faces to the cognitive abilities of the user (comprehension, memorization, integration of various information, etc.). The purpose of this thesis is to contribute to the design of interaction techniques allowing to optimize the transmission not visual of the information. For these purposes, I explored the feature of multimodality as a means of optimization, allowing of exceeding the memorization limits. I focused on the study of interaction techniques based on auditory and tactile modalities and by minimizing the use of the speech, in order to develop techniques for different environments (flexibility), optimize the use of perceptual channels (operating the properties of sound in audio messages to transmit more information, for example), avoid limiting my techniques by the language barrier or understanding and finally, to explore alternatives to the synthesised voice alone. The works of my thesis led to the design, to the implementation and to the evaluation of interaction techniques "non-visual" and "multiform", in answer to different contexts, whom in particular those of the information transmission of type <value>, <position> (pair of coordinates) and <itinerary> (sequence of couples direction-distance). To achieve design my interactions, I have made a review of literature in order to extract the main factors of design of interaction techniques dedicated to the transmission not visual of the information. Then, I have organized these factors in an analytical framework on which I have relied to design each of my techniques. Three separate experiments were led to evaluate the influence of design factors on the effectiveness of interactions and satisfaction towards users of technology. I can give some of them, the involvement of users (active or passive), the presence of explicit help, the transmission of several information in parallel, the main modality used and the type of coding in which is encoded the information.