Proxemic interaction and migratable user interface : applied to smart city

par Huiliang Jin

Thèse de doctorat en Informatique

Sous la direction de Bertrand David et de René Chalon.

Soutenue le 15-10-2014

à l'Ecully, Ecole centrale de Lyon , dans le cadre de École doctorale en Informatique et Mathématiques de Lyon , en partenariat avec Situated Interaction, Collaboration, Adaptation and Learning (laboratoire) .

Le président du jury était Franck Tarpin-Bernard.

Les rapporteurs étaient Christophe Kolski, Patrick Girard.

  • Titre traduit

    Interaction proxémique et interface utilisateur transférable : application à la ville intelligente


  • Résumé

    L’informatique ubiquitaire est graduellement devenue une réalité, nous utilisons divers dispositifs pour travailler et s’amuser (l’ordinateur, le portable, le smartphone). Au-delà des dispositifs personnels, les citoyens obtiennent des informations par les écrans publics qui sont présents partout dans les villes: l’abribus, l’aéroport, le centre commercial, etc. Il semble que la vision de l’informatique ubiquitaire est plus proche, cependant, l’avenir décrit par Mark Weiser est encore loin: «les technologies les plus profondes sont celles qui disparaissent». Actuellement les appareils électroniques ne sont pas assez intelligents et bien intégrés dans le contexte d’une ville. La ville intelligente (smart city) est un concept émergent pour construire une ville utilisant les technologies de l’information et de la communication (TIC). Ce concept propose d’améliorer la qualité de la vie et d’augmenter l’efficacité des activités dans une ville par les TIC. Il aussi met l’accent sur les savoir-faire des citoyens pour la construction des villes. La ville intelligente est en effet un système ubiquitaire large qui comprend différent systèmes (le système de gestion trafic, le système de transport public, le système de distribution de l’énergie, etc.). Les écrans publics construisent l’une des plus importants systèmes dans une ville. Cependant, ils ne sont utilisés que pour afficher de l’information, ils sont aveugles aux utilisateurs ainsi qu’à leurs dispositifs personnels. Dans cette thèse, nous proposons de construire des écrans publics intelligents basés sur l’interaction proxémique. L’interaction proxémique est inspirée par le terme venant de la psychologie «Proxémique». La Proxémique désigne les espaces virtuels autour des êtres humains pendant la communication. Les espaces sont différents selon la culture, les lieux où l’interaction se déroule. La Proxémique a été introduite à l’interaction homme machine par S. Greenberg en 2011 et il a créé le terme d’interaction proxémique. L’interaction proxémique étudie l’interaction en fonction de la relation spatiale entre les objets. Un écran proxémique peut connaître la distance, la position, l’identité et le mouvement de l’utilisateur. Ces dimensions proxémiques sont mesurées par l’écran comme les signaux de l’interaction implicite. Par ailleurs, il peut détecter les dispositifs mobiles des utilisateurs: il peut distribuer et échanger de l’information avec les dispositifs de l’environnement. Par rapport à un écran traditionnel, un écran proxémique offre des contenus plus personnalisés et ainsi répond aux besoins immédiats des utilisateurs. Ces avantages permettent à un écran public de bien s’adapter aux exigences de la ville intelligente. Notre objectif est d’étudier la façon de relever les défis d’un écran public dans une ville intelligente par l’interaction proxémique. Pour atteindre cet objectif, nous étudions les dimensions de l’interaction proxémique, et puis nous concevons un prototype d’écran proxémique grâce à différents capteurs: Kinect, Leapmotion et Webcam. Ce prototype supporte l’interaction implicite et explicite des utilisateurs pour fournir un contenu plus personnalisé aux utilisateurs, ainsi que des interactions naturelles. En outre, nous avons développé une boîte à outils pour la migration des données entre l’écran public et les appareils mobiles personnels. Avec cet outil, l’utilisateur peut télécharger des ressources à partir de l’écran, et l’écran deviendra un terminal pour recueillir les connaissances des citoyens pour la ville intelligente. Nous discutons les applications potentielles de ce prototype dans la ville intelligente, et nous proposons une application expérimentale qui est un panneau d’affichage proxémique des vols dans un aéroport. Basé sur cette application, nous avons réalisé des études utilisateurs systématiques dans notre laboratoire pour vérifier si l’interaction proxémique peut vraiment améliorer les performances d’un écran public.


  • Résumé

    Ubiquitous computing is gradually coming into reality, people use various digital devices (personal computer, laptop, tablet and smartphone) in order to study, work, entertain and communicate with each other. A city is actually a ubiquitous society, citizens get practical information from digital public displays that are installed everywhere in a city: bus station, railway station, airport or commercial center, etc. It seems that we are closing to the vision of ubiquitous computing, however, it’s still far from the vision what Mark Weiser described: the most profound technologies are those that disappear, they weave themselves into the fabric of everyday life until they are indistinguishable from it. That means in nowadays the widespread digital devices are still not intelligent enough and not well integrated, this issue is especially serious under a context of city than for personal usage condition.Smart city is a modern concept of city that seeks to improve the efficiency and quality of life by the information and communication technologies (ICTs), it as well emphasizes the importance of citizens’ knowledge for the wise management of city. The ICTs of a smart city constructs a large scale ubiquitous system, including traffic control systems, public transportation system, energy control systems, etc. In all the systems, digital public displays are one of the most important viewports that connect citizens with city. However, the public display today is only used as a screen to display information, it’s blind to the presence of users and ambient devices, these result in low efficiency of interactions, and make a city unable to take use of citizen knowledge.In this dissertation, we build an intelligent public display by the theory of proxemic interaction. Proxemic interaction is spatial related interaction patterns inspired by the psychological term: Proxemics, it studies the spatial -related interaction human to device and device to device. A proxemic interactive public display means that it is aware of user’s presence, position, movement, identity and other user related attributes, and takes these attributes as implicit inputs for interactions. Besides, it can sense ambient mobile devices and act as a hub for local deices information flows. Compared with traditional public display, proxemic interactive display can provide specific users with more personal related and instant - need information rather than provide general information to all users. That means to make displays sense users instead of making users explore displays exhaustively. These advantages make a proxemic display more adapt to the prospect of smart city.Our object is to study how to address the challenges of public display in a smart city by proxemic interaction. Towards this object, we study the dimensions of proxemic interaction, and build a prototype of proxemic interactive projected display with Kinect, Leap motion and web camera. This prototype supports implicit and explicit interaction of users to provide more personalized contents to users, as well as natural interactions. Furthermore, we developed a toolkit for data migration between public display and personal mobile devices, so that public display becomes aware of ambient users’ devices, users can download resources from public displays freely, while public displays can be as a terminal to collect knowledge of citizens for smart city.We discuss the potential applications of this prototype under smart city, and build an experimental application of proxemic airport flight information board. Based on this experimental application, we organized a systematic laboratory user study to validate whether proxemic interaction can really improve the performance of public displays


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Ecole centrale de Lyon. Bibliothèque Michel Serres.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.