Interaction en réalité augmentée spatiale pour le dessin physique

Spatial augmented reality for physical drawing

• Auteur / Autrice : Jérémy Laviole
• Direction : Martin Hachet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/12/2013
• Etablissement(s) : Bordeaux 1
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique - Laboratoire Bordelais de Recherche en Informatique / LaBRI
• Jury : Président / Présidente : Nadine Rouillon-Couture
• Jury : Rapporteurs / Rapporteuses : Anatole Lécuyer, Emmanuel Dubois

Mots clés

Mots clés contrôlés

Design interactif

Réalité augmentée

Mots clés libres

Réalité augmentée spatial

Projection

Papier

Interaction tangible

Caméra de profondeur

Création Artistique

Code créatif

Interaction spatiale

Spatial Augmented Reality

Projection

Paper

Tangible Interaction

Depth Camera

Artistic Creation

Creative Coding

Spatial Interaction

Résumé

Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l’amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques.Tout d’abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d’un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d’écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d’art visuel, plus précisément sur les premières étapes de la création quand l’artiste créer la structure. Nous offrons la possibilité de créer et d’éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c’est-à-dire qu’ils s’ajoutent aux outils existants: toute l’interface utilisateur est sur la table, et l’utilisateur n’utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d’un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes:art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L’acceptabilité de ce genre de système a été très bonne, et “magique” par la plupart des utilisateurs. Ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi.

This dissertation presents the design, implementation, and evaluation of novel SpatialAugmented Reality (SAR) applications. These applications focus on enhancing physical drawingsuch as pencil drawing or painting by the projection of digital tools.First, we describe our tabletop SAR system and its possiblities. It takes into account thecamera and projector internal and external parameters to enable precise projection onto trackedsheets of paper. In addition to this, we enable touch and hand detection over the table with adepth camera. Consequently, it enables the creation of interactive touch screens on the pieces ofpaper on a table.Next, we focus on the creation of visual art, more precisely the first steps of creation whenthe artist structures it. We enable the creation and edition of digital construction lines (DCL)that are projected onto the paper. These tools are Augmented Reality (AR) tools, i.e., theyadd to existing tools: the whole user interface is on the table and the user never uses a mouse,keyboard or screen. In addition to the simple DLC (lines and curves), we propose to specializethem for specific drawings such as perspective drawing, character drawing and drawing from a3D model. We propose a novel way to display and interact with 3D objects on paper. We alsopropose to create mixed media drawing: it enables the creation of interactive visual art thattakes advantage from both the physical and digital possiblities.Finally, we describe new usages for our SAR system in many different contexts throughpublic exhibitions. The acceptability of such systems was found very good and “magical” bymost of the users. They only saw and interacted with interactive pieces of paper without noticingthe projection and tracking system.