Exploration et discussion collaborative des données grâce à la réalité augmentée

par Mickaël Sereno

Projet de thèse en Informatique


Sous la direction de Tobias Isenberg.

Thèses en préparation à université Paris-Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication , en partenariat avec Laboratoire Interdisciplinaire des Sciences du Numérique (laboratoire) , AVIZ - Analyse Visuelle (equipe de recherche) , Faculté des sciences d'Orsay (référent) et de Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....) (graduate school) depuis le 01-10-2018 .


  • Résumé

    La manière traditionnelle d'explorer, d'analyser et de discuter des ensembles de données 3D repose sur un poste de travail dédié avec ses logiciels et son matériel associés, généralement utilisés par une seule personne. Dans la pratique, cependant, cette analyse de données doit souvent être discutée en collaboration, par exemple lors de réunions d'équipe où plusieurs parties prenantes se réunissent pour analyser les données. À cette fin, les gens préparent souvent des visualisations sous forme de rendus et de graphiques à analyser lors de la réunion, avec le problème que ces présentations sont (a) statiques et (b) n'offrent pas l'immersion que permettent les environnements de visualisation dédiés. Dans ce projet, j'étudie l'utilisation de la technologie de réalité augmentée (RA) pour permettre aux personnes dans des contextes de réunion traditionnels de percevoir des visualisations stéréoscopiques d'ensembles de données 3D, de les explorer individuellement et en collaboration, et ainsi de prendre des décisions sans avoir besoin de sessions répétées au cours desquelles les présentations sont mises à jour en fonction des résultats précédents. La RA est intéressante dans ce contexte car, même si la visualisation d'un ensemble de données en 3D peut être importante, les situations de travail typiques impliquent souvent des discussions sur d'autres types de données (tableaux, documents, diapositives) et la manipulation d'autres outils. La RA est un moyen pratique d'intégrer une visualisation 3D intuitive avancée dans des situations de réunion tout en préservant ces possibilités. En outre, les systèmes de RA récemment mis sur le marché (par exemple, l'HoloLens de Microsoft) ont surmonté plusieurs limites technologiques (fusion du monde réel et virtuel, suivi fiable de la tête de l'utilisateur dans un environnement non préparé, augmentation des capacités de rendu 3D des appareils mobiles, écrans haute-définition portés sur la tête) tout en restant facilement utilisables et légers. Ces progrès techniques créent des conditions favorables à l'adoption de la RA dans le cadre de réunions de bureau avec des utilisateurs non experts. Nous voulons en particulier étudier le support d'interaction nécessaire, tant en ce qui concerne la saisie des données que la prise en charge des manipulations de données et des différentes vues, la coordination entre les collaborateurs, ainsi que le partage et la discussion des résultats de l'analyse.

  • Titre traduit

    Collaborative Data Exploration and Discussion supported by Augmented Reality


  • Résumé

    The traditional way to explore, analyze, and discuss 3D datasets is to use a dedicated workstation with its associated software and hardware, typically by a single person. In practice, however, such data analysis often needs to be discussed collaboratively, such as in team meetings in which several stakeholders join to analyze the data. For this purpose, people often prepare visualizations in form of renderings and graphs/plots to be analyzed in the meeting, with the problem that these presentations are (a) static and (b) do not provide the immersion that dedicated visualization environments afford. In this project we thus want to investigate the use of augmented reality (AR) technology to allow people in traditional meeting settings to perceive stereoscopic visualizations of 3D datasets, explore them individually and collaboratively, and thus are enabled to make decisions without the need of repeated sessions in which the presentations are updated based on previous results. AR is interesting in this context because, even if visualization of 3D dataset can be important, practical work situations often involve discussions about other types of data (tables, documents, slides) and manipulation of other tools: AR is a convenient way to integrate advanced intuitive 3D visualization in a meeting situations while preserving these possibilities. Moreover, recently released AR systems (e.g, Microsoft Hololens) have overcome several technological limitations (real and virtual world registration, reliable user head tracking in an unprepared environment, increase in the 3D rendering capabilities of mobile devices, high-definition head-worn displays) while remaining easily operable and lightweight. These advances create favorable conditions for the adoption of AR in the context of office meetings with non-expert users. In particular, we want to investigate the needed interaction support, both with respect to capturing the necessary input as well as to supporting the needed data and view manipulations, coordinating between collaborators, and sharing and discussing the results of the analysis.