Manipulation 2D en temps réel d'une apparence 3D plausible en utilisant les buffer d'ombrage et de géométrie

Real-time 2D manipulation of plausible 3D appearance using shading and geometry buffers

• Auteur / Autrice : Carlos Jorge Zubiaga Pena
• Direction : Pascal Barla
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/11/2016
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Pascal Guitton
• Jury : Examinateurs / Examinatrices : David Vanderhaeghe, Xavier Granier
• Jury : Rapporteurs / Rapporteuses : Diego Gutierrez, Daniel Sykora

Mots clés

Mots clés contrôlés

Perception des images

Modélisation tridimensionnelle

Traitement d'images -- Techniques numériques

Mots clés libres

Apparence

Compositing

MatCap

Cartes d’environnement pré-flitrées

Ombrage

Appearance

Compositing

MatCap

Pre-filtered environment map

Shading

Résumé

Les artistes traditionnels peignent directement sur une toile et créent des apparences plausibles de scènes qui ressemblent au monde réel. A l’opposé, les artistes en informatique graphique définissent des objets dans une scène virtuelle (maillages 3D, matériaux et sources de lumière), et utilisent des algorithmes complexes (rendu) pour reproduire leur apparence. D’un côté, les techniques de peinture permettent de librement définir l’apparence. D’un autre côté, les techniques de rendu permettent de modifier séparément et dynamiquement les différents éléments qui définissent l’apparence. Dans cette thèse, nous présentons une approche intermédiaire pour manipuler l’apparence, qui permettent certaines manipulations en 3D en travaillant dans l’espace 2D. Mous étudions d’abord l’impact sur l’ombrage des matériaux, tenant en compte des matériaux comme des filtres passe-bande d’éclairage. Nous présentons ensuite un petit ensemble de relations statistiques locales entre les matériaux / l’éclairage et l’ombrage. Ces relations sont utilisées pour imiter les modifications sur le matériaux ou l’éclairage d’une image d’une sphère créée par un artiste. Les techniques connues sons le nom de LitSpheres / MatCaps utilisent ce genre d’images pour transférer leur apparence `a des objets de forme quelconque. Notre technique prouve la possibilité d’imiter les modifications 3D de la lumière et de matériaux à partir d’une image en 2D. Nous présentons une technique différente pour modifier le troisième élément impliqué dans l’aspect visuel d’un objet, sa géométrie. Dans ce cas, on utilise des rendus comme images d’entrée avec des images auxiliaires qui contiennent des informations 3D de la scène. Nous récupérons un ombrage indépendant de la géométrie pour chaque surface, ce qui nous demande de supposer qu’il n’y a pas de variations spatiales d’éclairage pour chaque surface. L’ombrage récupéré peut être utilisé pour modifier arbitrairement la forme locale de l’objet de manière interactive sans la nécessité de rendre `a nouveau la scène.

Traditional artists paint directly on a canvas and create plausible appearances of real-world scenes. In contrast, Computer Graphics artists define objects on a virtual scene (3D meshes, materials and light sources), and use complex algorithms (rendering) to reproduce their appearance. On the one hand, painting techniques permit to freely define appearance. On the other hand, rendering techniques permit to modify separately and dynamically the different elements that compose the scene. In this thesis we present a middle-ground approach to manipulate appearance. We offer 3D-like manipulation abilities while working on the 2D space. We first study the impact on shading of materials as band-pass filters of lighting. We present a small set of local statistical relationships between material/lighting and shading. These relationships are used to mimic modifications on material or lighting from an artist-created image of a sphere. Techniques known as LitSpheres/MatCaps use these kinds of images to transfer their appearance to arbitrary-shaped objects. Our technique proves the possibility to mimic 3D-like modifications of light and material from an input artwork in 2D. We present a different technique to modify the third element involved on the visual appearance of an object: its geometry. In this case we use as input rendered images alongside with 3D information of the scene output in so-called auxiliary buffers. We are able to recover geometry-independent shading for each object surface, assuming no spatial variations for each recovered surface. The recovered shading can be used to modify arbitrarily the local shape of the object interactively without the need to re-render the scene.