Visualisation localisée en mouvement

Situated Visualization in Motion

• Auteur / Autrice : Lijie Yao
• Direction : Petra Isenberg, Anastasia Bezerianos
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/12/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Gilles Bailly
• Jury : Examinateurs / Examinatrices : Morten Fjeld, Niklas Elmqvist, Wendy Mackay, Uta Hinrichs, Melanie Tory
• Jury : Rapporteurs / Rapporteuses : Morten Fjeld, Niklas Elmqvist

Mots clés

Mots clés contrôlés

Concepteurs de jeux vidéo

Perception visuelle du mouvement

Visualisation

Mots clés libres

Visualisation située

Visualisation Intégrée

Conception de visualisation

Perception

Analyse sportive

Jeux vidéo

Situated visualization

Embedded visualization

Visualization design

Perception

Sports analytics

Video games

Résumé

Dans ma thèse, je définis ce qu'est la visualisation en mouvement et j'apporte plusieurs contributions sur la manière de visualiser et de concevoir des visualisations localisées en mouvement. Dans la visualisation localisée de données, les données sont directement visualisées à proximité de l'espace physique, de l'objet ou de la personne auxquels elles se réfèrent. Les visualisations localisées sont souvent utiles dans des contextes où le référent des données et l'observateur sont en mouvement relatif. Imaginez, par exemple, un coureur regardant une visualisation sur un bracelet de fitness qu'il porte ou sur un écran public alors qu'il passe devant. De tels scénarios d'utilisation mobile et dynamique peuvent affecter la lecture de visualisations localisées. Il est donc important de comprendre comment optimiser la conception des visualisations pour ces contextes. En d'autres termes, il est d'abord nécessaire de définir des encodages de données localisées efficaces et visuellement stables; puis de les étudier lorsque des facteurs de mouvement sont impliqués. A ce titre, je définis d'abord la visualisation en mouvement comme des représentations de données visuelles utilisées dans des contextes qui présentent un mouvement relatif entre un observateur et une visualisation entière. Je classe la visualisation en mouvement en trois catégories : (a) observateur en mouvement et visualisation stationnaire, (b) visualisation en mouvement et observateur stationnaire, et (c) observateur et visualisation tous deux en mouvement. Pour analyser les opportunités et les défis de la conception de visualisations en mouvement, je propose un agenda de recherche. Pour commencer, j'explore avec quelle précision les observateurs peuvent lire une visualisation en mouvement. A cette fin, je mène une série d'études empiriques sur la perception de l'estimation de la proportion de la magnitude. Mes résultats montrent que les participants peuvent obtenir des informations fiables à partir de visualisations en mouvement, même s'ils se déplacent à grande vitesse et selon des trajectoires irrégulières. Sur la base de mes résultats de perception, je cherche à répondre à la question de savoir comment concevoir et intégrer la visualisation en mouvement dans des contextes réels. J'utilise la natation comme scénario d'application, car la natation possède des données riches et dynamiques. J'implémente un outil de prospection technologique qui permet à des concepteurs d'intégrer les visualisations en mouvement à une vidéo de natation. Les concepteurs peuvent modifier en direct les encodages visuels, l'état de mouvement ainsi que l'emplacement des visualisations. Les visualisations utilisent des données réelles liées à la course. Mon évaluation montre que la conception de visualisations en mouvement nécessite plus que ce que proposent les outils de conception de visualisations traditionnelles : la visualisation doit être placée dans son contexte (par exemple, son référent de données, son arrière-plan) mais doit également pouvoir être prévisualisée avec son déplacement réel. Le contexte complet avec les effets de mouvement peut affecter les décisions de conception. Ensuite, je continue à travailler pour comprendre l'impact du contexte sur la conception de visualisations en mouvement et son expérience utilisateur. J'utilise les jeux vidéo comme plateforme de test, dans lesquels les visualisations en mouvement sont placées dans un arrière-plan chargé et dynamique mais doivent aider les joueurs à prendre des décisions rapides pour gagner. Mon étude montre qu'il existe des compromis entre la lisibilité de la visualisation en mouvement et son esthétique. Les participants recherchent un équilibre entre la lisibilité de la visualisation, l'adéquation esthétique au contexte, l'expérience d'immersion qu'apporte la visualisation, le support que la visualisation peut fournir pour gagner, et l'harmonie entre la conception des visualisations et leur contexte.

In my thesis, I define visualization in motion and make several contributions to how to visualize and design situated visualizations in motion. In situated data visualization, the data is directly visualized near their data referent, i.e., the physical space, object, or person it refers to. Situated visualizations are often useful in contexts where the data referent or the viewer does not remain stationary but is in relative motion. For example, a runner is looking at visualizations from their fitness band while running or from a public display as they are passing it by. Reading visualizations in such scenarios might be impacted by motion factors. As such, understanding how to best design visualizations for dynamic contexts is important. That is, effective and visually stable situated data encodings need to be defined and studied when motion factors are involved. As such, I first define visualization in motion as visual data representations used in contexts that exhibit relative motion between a viewer and an entire visualization. I classify visualization in motion into 3 categories: (a) moving viewer & stationary visualization, (b) moving visualization & stationary viewer, and (c) moving viewer & moving visualization. To analyze the opportunities and challenges of designing visualization in motion, I propose a research agenda. To explore to what extent viewers can accurately read visualization in motion, I conduct a series of empirical perception studies on magnitude proportion estimation. My results show that people can get reliable information from visualization in motion, even if at high speed and under irregular trajectories. Based on my perception results, I move toward answering the question of how to design and embed visualization in motion in real contexts. I pick up swimming as an application scenario because swimming has rich, dynamic data. I implement a technology probe that allows users to embed visualizations in motion in a live swimming video. Users can adjust in real-time visual encoding parameters, the movement status, and the situatedness of visualization. The visualizations encode real swimming race-related data. My evaluation with designers confirms that designing visualizations in motion requires more than what traditional visualization toolkits provide: the visualization needs to be placed in-context (e.g., its data referent, its background) but also needs to be previewed under its real movement. The full context with motion effects can affect design decisions. After that, I continue my work to understand the impact of the context on the design of visualizations in motion and its user experience. I select video games as my test platform, in which visualizations in motion are placed in a busy, dynamic background but need to help players make quick decisions to win. My study shows there are trade-offs between visualization's readability under motion and aesthetics. Participants seek a balance between the readability of visualization, the aesthetic fitting to the context, the immersion experience the visualization brings, the support the visualization can provide for a win, and the harmony between the visualization and its context.