Techniques d'interaction exploitant la mémoire pour faciliter l'activation de commandes

by Bruno Fruchard

Doctoral thesis in Informatique

Under the supervision of Eric Lecolinet and Olivier Chapuis.

Ongoing thesis at Paris Saclay , under the authority of Sciences et Technologies de l'Information et de la Communication , in a partnership with LTCI - Laboratoire de Traitement et Communication de l'Information (laboratoire) , IC2 : Interaction, Cognition et Complexité (equipe de recherche) and Télécom ParisTech (établissement de préparation de la thèse) since 01-10-2015 .

  • Alternative Title

    Interaction Techniques Using Memory to Facilitate Command Activation

  • Abstract

    Detailed description of the work Introduction Computer science techniques enable fast access to quantities of data constantly growing, helped by software constantly earning power and complexity. Like Norman said in 1993 « The power of the unaided mind is highly overrated. Without external aids, memory, thought, and reasoning are all constrained (...) The real powers come from devising external aids that enhance cognitive abilities. How have we increased memory, thought, and reasoning? By the inventions of external aids: It is things that make us smart. » [Card 99]. A great part of these aids is currently based on recognition process. It is the case for menus, which allow commands finding easily in a set of possibilities. Moreover, web browsers let us find data in a list, a hierarchy, or even by entering key words. Despite their efficacy, these techniques own an unneglectable interaction cost. They impose to point and click at graphical elements, enter text, navigate into lists, etc… In the case of an intensive use of particular commands, data, or overview of these data, who would not dream about instantly access them? This is a main issue in HCI, even more obvious in the context of wall-sized displays – which is the context we focus on in this thesis. One of the advantages of these displays is to be able to render great quantities of data, to compare them, to visualize them differently, etc… However, interacting with them creates diverse issues that make data manipulation harder. Their size force users to be mobile, often standing up, making the use of keyboards uncomfortable and using virtual keyboard not more appreciable. Access to buttons and other objects of control on a tactile screen require multiple moves and maybe impossible to achieve to reach the bottom and specially the top of a big screen. Another solution consists of performing mid-air gestures (3D tracking), but suffers of imprecision, especially when dealing with small objects of control. In fact, pointing on large surfaces using mid-air or pointing devices is a research question and requires important interactive manipulations. Moreover, large displays are usually use to show someone else information during a talk, which involves accessing easy and fast data without dealing with cognitive loads. These environments make an ideal context to develop new interaction techniques allowing fast and easy access to common manipulations to access data and apply desired treatments. It is what we propose to study during this Ph.D. thesis, by developing new paradigms allowing easy learning and memorization of many interaction gestures giving immediate access to large set of commands and data. Even if such goal seems ambitious, diverse work in cognitive psychology and human computer interaction show its feasibility as explaining later. Positioning Human memory has been the subject of many work and theories in cognitive psychology (see Baddeley [2013]). Otherwise, since antique time, numerous authors have been interested by possibilities offered by mnemonic techniques [Yates 92, Maguire 03, etc.]. A certain number of studies in HCI were focused on learning and memorization of commands. However, this research domain did not gather as much attention as we could think. Some precursory work in HCI have focused on advantages of using spatial memory [Bolt 80, Ark 98]. Around that time, researchers of XEROX PARC proposed 3D metaphors to facilitate managing of large spaces of information [Card 99] and we can suppose they had the same idea in mind when proposing the “desktop metaphor” in the 80's. The idea of using 3D metaphors exploiting spatial memory has been used later on to facilitate layouts and finding of bookmarks in web browsers [Robertson 98]. Other researchers have been interested by the implicit learning of the expert mode of commands systems. This gave birth to Marking menus – a technique that allows learning of an expert mode based on gestural interaction by repeating novice mode [Kurtenbach 92] – as well as a number of substantial derived techniques (for example [Bailly 08, Bau 08]). Nevertheless, this work does not focus specifically on human memory capacity and ways to make it more effective, but rather at giving means to discover and learn gestures. People in HCI regained interest on spatial memory these past years, in particular due to work at the University of Canterbury in New-Zealand (for example [Scarr 13]). Our both teams (at Telecom ParisTech and at LRI) have also work on diverse relative aspects to these questions (modalities combination [Bailly 08, Roy 13], spatial memory [Serrano 13], rhythm memory [Ghomi 11], etc…). Very recently, we did a study treating the augmentation of human memory with interactive techniques using mnemonic methods. Results obtained (published at CHI [Perrault 15], main conference in HCI) are clearly superiors to all others proposed in HCI yet. This work will be used as a base to what we propose to study during this Ph.D. thesis, and highlights the possibility of great improvement in the domain of memorization and selection of commands/data only if we use human cognitive resources which are currently little (or not at all) used in HCI. It is also important to note that currently, few teams own our shared expertise in this domain.

  • Abstract

    Description détaillée des travaux Introduction Les techniques informatiques permettent d'accéder à des quantités sans cesse croissantes de données à l'aide de logiciels toujours plus puissants et plus complexes. Comme le disait Norman en 1993 « The power of the unaided mind is highly overrated. Without external aids, memory, thought, and reasoning are all constrained (...) The real powers come from devising external aids that enhance cognitive abilities. How have we increased memory, thought, and reasoning? By the inventions of external aids: It is things that make us smart. » [Card 99]. Une grande partie de ces aides est actuellement basée sur des procédures de reconnaissance. Il en va ainsi des menus, qui permettent de retrouver la commande souhaitée parmi un large éventail de possibilités. De même, les explorateurs de fichiers et les navigateurs Web permettent de retrouver la donnée qui nous intéresse dans une liste, soit en naviguant dans une hiérarchie, soit en fournissant des mots clés. Malgré leur efficacité, ces techniques ont néanmoins un coût interactionnel non négligeable. Elles nécessitent de pointer et cliquer dans divers éléments graphiques, d'entrer du texte, de naviguer dans des listes, etc. Dans le cas d'une utilisation intensive de certaines commandes, certaines données, certaines vues sur ces données, qui ne rêverait de pouvoir instantanément accéder à la commande, à la donnée ou à la représentation souhaitée ? Il s'agit d'une problématique générale en IHM, mais qui est encore plus évidente dans le cas des grands dispositifs d'affichage comme les murs d'écrans – qui constituent le contexte applicatif sur lequel nous nous concentrerons dans cette thèse. Un des principaux bénéfices de ces dispositifs est de pouvoir afficher de grandes quantités d'informations, de les comparer, de les représenter de différentes manières à l'aide de vues multiples (en jouant sur l'échelle ou les attributs graphiques, en appliquant des filtres ou divers traitements, et en manipulant interactivement toutes ces données et tous leurs paramètres). Cependant, l'interaction avec ces dispositifs pose divers problèmes qui peut rendre la manipulation des données particulièrement fastidieuse. Leur grand taille suppose que les utilisateurs soient mobiles, et le plus souvent debout, ce qui rend l'utilisation d'un clavier physique malaisée, et celle d'un clavier virtuel affiché sur l'écran n'est guère plus plaisante. Accéder aux boutons et autres objets de contrôle sur un écran tactile nécessite de nombreux déplacements et peut s'avérer difficile (voire impossible) lorsqu'ils sont situés en bas, et surtout en haut, d'un écran de grande taille. Une autre solution consiste à effectuer des gestes de pointage 3D « en l'air », mais elle souffre d'un manque de précision problématique, d'autant que les objets de contrôle sont généralement de petite taille. De fait le pointage sur de grandes surfaces « en l'air » ou à l'aide d'autres dispositifs est en soi un problème de recherche, et il nécessite de toute façon un nombre significatif de manipulations interactives. De plus, les grandes surfaces d'affichage sont souvent utilisées pour « monter à autrui » dans le cadre d'un discours, ce qui nécessite de pouvoir facilement et rapidement accéder à l'information ou au traitement souhaité sans que la charge cognitive nécessitée par cette opération ne perturbe l'orateur et ne nuise à la fluidité de sa démonstration. Ces environnements constituent donc un cadre idéal pour le développement de nouvelles techniques d'interaction donnant accès rapidement et facilement aux opérations les plus courantes pour accéder aux données et y appliquer les traitements et manipulations souhaitées. C'est ce que nous proposons d'étudier dans cette thèse, en développant de nouveaux paradigmes permettant d'apprendre et de mémoriser facilement un grand nombre d'interactions gestuelles donnant un accès immédiat à un large ensemble de commandes et données via des mécanismes de rappel. Bien qu'un tel objectif puisse sembler ambitieux, divers travaux en psychologie cognitive et, plus récemment, en interaction homme-machine montrent sa faisabilité, comme expliqué ci-après. Positionnement La mémoire humaine a fait l'objet d'un nombre très important de travaux et théories en psychologie cognitive (voir par exemple l'ouvrage récapitulatif de Baddeley [2013]). Par ailleurs, et ce depuis l'antiquité, de nombreux auteurs se sont intéressés aux possibilités offertes par les techniques mnémotechniques [Yates 92, Maguire 03, etc.]. Un certain nombre d'études en IHM ont porté sur l'apprentissage et la mémorisation de commandes. Cependant ce champ de recherche n'a pas fait l'objet d'autant d'attention que ce que l'on pourrait supposer. Certains travaux précurseurs en IHM se sont intéressés aux bénéfices de l'utilisation de la mémoire spatiale [Bolt 80, Ark 98]. Vers la même époque, les chercheurs du Xerox PARC ont proposé des métaphores 3D censées faciliter la gestion de grands espaces d'information [Card 99] et on peut également supposer qu'ils avaient cet aspect à l'esprit lorsqu'ils ont introduit la « métaphore du bureau » dans les années 80. L'idée d'utiliser les métaphores 3D exploitant la mémoire spatiale à été reprise un peu plus tard pour faciliter l'organisation et la recherche de favoris dans les navigateurs Web [Robertson 98]. D'autres chercheurs se sont intéressés à la question de l'apprentissage implicite du mode expert des systèmes de commandes. Ceci a donné lieu à la proposition des Marking menus - une technique qui permet d'apprendre un mode expert basé sur l'interaction gestuelle par répétition du mode novice [Kurtenbach 92] - ainsi qu'à un nombre substantiel de techniques dérivées (par exemple [Bailly 08, Bau 08]). Toutefois, ces travaux ne s'intéressent pas spécifiquement aux capacités de la mémoire humaine et aux moyens de la rendre plus effective, ils visent plutôt à fournir des moyens de découvrir et d'apprendre les gestes. Les recherches sur la mémoire spatiale en IHM ont trouvé un regain d'intérêt ces dernières années, en particulier grâce aux travaux du HCI Lab de l'université de Canterbury en Nouvelle Zélande (par exemple [Scarr 13]). Nos deux équipes (à Télécom ParisTech et au LRI) ont également travaillé sur divers aspects relatifs à ces questions (combinaison de modalités [Bailly 08, Roy 13], mémoire spatiale [Serrano 13], mémoire des rythmes [Ghomi 11], etc.). Très récemment, nous avons effectué une étude traitant de l'augmentation de la mémoire humaine par des techniques interactives mettant en œuvre des principes issus des méthodes mnémotechniques. Les résultats obtenus (prochainement publiés à CHI [Perrault 15], le médium de référence du domaine) sont nettement supérieurs à ceux fournis par les approches jusqu'à présent proposées en IHM. Ce travail, qui servira de base à l'étude que nous proposons d'effectuer dans cette thèse, met en évidence la possibilité d'avancées très significatives dans le domaine de la mémorisation et sélection de commandes/données à condition de faire appel à des ressources cognitives humaines qui sont actuellement peu (voire pas) exploitées en IHM. Il est de plus intéressant de noter qu'actuellement très peu d'équipes disposent de notre expertise conjointe dans ce domaine.