Interaction incorporée pour des tâches de manipulation de données sur un mur d'écrans

Embodied Interaction for Data Manipulation Tasks on Wall-sized Displays

• Auteur / Autrice : Can Liu
• Direction : Michel Beaudouin-Lafon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/12/2015
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de recherche en informatique (Orsay, Essonne ; 1998-2020)
• Jury : Président / Présidente : Jean-Claude Martin
• Jury : Examinateurs / Examinatrices : Michel Beaudouin-Lafon, Jean-Claude Martin, Albrecht Schmidt, Laurent Grisoni, Joanna McGrenere, Nicolai Marquardt, Olivier Chapuis, Eric Lecolinet
• Jury : Rapporteurs / Rapporteuses : Albrecht Schmidt, Laurent Grisoni

Mots clés

Mots clés contrôlés

Données massives

Systèmes d'affichage

Coopération (psychologie)

Interaction humain-machine

Mots clés libres

Murs d'écrans

Manipulation de données

Interaction incorporé

Expérience quantitative

Wall-Sized displays

Data manipulaiton

Embodied interaction

Quantitative Experiment

Résumé

De grands ensembles de données sont de plus en plus utilisés dans divers domaines professionnels, tels que la médecine, la sociologie et l'économie. Ceci pose de nombreux défis dans leurs utilisations pour, par exemple, les classifier et la prise de décision. Pour cela nous n'avons pas seulement besoin d'algorithmes élaborés pour leur traitement, il faut aussi que les utilisateurs puissent visualiser et interagir avec les données pour pouvoir les appréhender et éventuellement corriger ou vérifier les traitement fait par les machines. Cette thèse explore cette problématique en étudiant l'interaction d'utilisateurs avec de grands ensembles de données sur des murs d'écrans.Le corps humain est fait pour interagir avec le monde physique, du microscopique aux grandes échelles. Nous pouvons naturellement nous coordonner pour voir, entendre, toucher et nous déplacer pour interagir avec l'environnement à diverses échelles. Au-delà d'un individu, les êtres humains collaborent en communicant et en se coordonnant. En suivant la définition de Dourish, l'Interaction Incorporée encourage les concepteurs d'interaction de profiter de l'expérience existante du monde physique des utilisateurs lors de la conception de l'interaction avec les interfaces numériques.Je soutiens que les grands espaces interactifs permettent une interaction incorporée de l'utilisateur avec des données répartis dans l'espace, en tirant parti des capacités physiques des utilisateurs, comme la marche, l'approche et l'orientation. Au-delà d'un simple utilisateur, ces environnements permettent aussi à plusieurs utilisateurs d'interagir ensemble en utilisant la communication verbale et gestuelle tout en ayant une conscience de la présence physique de chacun. Alors que dans le cadre mono-utilisateur, de nombreuses recherches portent sur la transformation d'actions physiques en modalités d'entrées, le cas des relations entre plusieurs utilisateurs a été très peu étudié. Dans cette thèse, je présente tout d'abord une expérience qui évalue formellement l'avantage pour un utilisateur d'exécuter une tâche de manipulation de données sur un grand mur d'écrans par rapport à un ordinateur de bureau. Cette expérience montre que les mouvements physiques de l'utilisateur l'aide à naviguer dans une grande surface de données, et permet de surpasser les techniques de navigation existantes sur un ordinateur de bureau tels que les techniques de Focus+Contexte. Avec la même tâche expérimentale, j'étudie ensuite la manipulation de données collaborative avec un mur d'écrans, en imposant différents styles de collaboration, de étroitement couplées à lâche. L'expérience mesure l'effet de l'introduction d'une technique d'interaction partagée, dans lequel les collaborateurs effectuent chacun une partie d'une action pour émettre une commande. Les résultats montrent les avantages d'une telle technique en termes d'efficacité, d'engagement des utilisateurs, ainsi que de fatigue physique. Enfin, j'explore le concept d'augmentation de l'interaction humain-à-humain avec des techniques d'interaction partagées, et je propose un espace de conception pour ces techniques pour facilité la manipulation de données collaborative. Je présente la conception, la mise en œuvre et l'évaluation d'un ensemble de ces techniques, ainsi que les travaux futurs qui en découlent.

Large data sets are used acceleratingly in various professional domains, such as medicine and business. This rises challenges in managing and using them, typically including sense-making, searching and classifying. This does not only require advanced algorithms to process the data sets automatically, but also need users' direct interaction to make initial judgment or to correct mistakes from the machine work. This dissertation explores this problem domain and study users' direct interaction with scattered large data sets. Human body is made for interacting with the physical world, from micro scope to very large scales. We can naturally coordinate ourselves to see, hear, touch and move to interact with the environment in various scales. Beyond individual, humans collaborate with each other through communication and coordination. Based on Dourish's definitioncite{2001:AFE:513034}, Embodied Interaction encourages interaction designers to take advantage of users' existing skills in the physical world, when designing the interaction with digital artefacts. I argue that large interactive spaces enable embodied user interaction with data spread over space, by leveraging users' physical abilities such as walking, approaching and orienting. Beyond single users, co-located environments provide multiple users with physical awareness and verbal gestural communication. While single users' physical actions have been augmented to be various input modalities in existing research, the augmentation of between-user resources has been less explored. In this dissertation, I first present an experiment that formally evaluates the advantage of single users performing a data manipulation task on a wall-sized display, comparing to on a desktop computer. It shows that using users' physical movements to navigate in a large data surface, outperforms existing digital navigation techniques on a desktop computer such as Focus+Context. With the same experimental task, I then study the interaction efficiency of collaborative data manipulation with a wall-sized display, in loosely or closely coupled collaboration styles. The experiment measures the effect of providing a Shared Interaction Technique, in which collaborators perform part of an action each to issue a command. The results conclude its benefits in terms of efficiency, user engagement as well as physical fatigue. Finally, I explore the concept of augmenting human-to-human interaction with shared interaction techniques, and illustrate a design space of such techniques for supporting collaborative data manipulation. I report the design, implementation and evaluation of a set of these techniques and discuss the future work.