Image-based capture and rendering with applications to urban planning

par Alex Reche Martinez

Thèse de doctorat en Image de synthèse

Sous la direction de George Drettakis.

Soutenue en 2005

à Nice .

mots clés

• Modèles mathématiques
• Conception orientée objets (informatique)
• Réalité virtuelle

Titre traduit

Capture et rendu à base d'images avec application aux projets urbains

Résumé

This thesis addresses the capture real objects to be integrated in a virtual environment and their efficient display. The thesis has two parts : in the first part, we present two new methods for the capture and rendering real objects using image-based techniques, and the second part, we present an complete virtual reality system that allows the use of different realistic techniques for the design of urban projects, as well as a first evaluation of this system. The first method proposed allows the capture of a real scene with relatively simple geometry, for example building facades. The capture is done using an small number of photographs. With this method the captured objects have a compact representation : the work of the computer graphics artist is simplified to allow higher quality render. The second method proposed is for the capture of complex objects, in our case trees, using as input a series of photographs taken around the object. A first estimation of opacities is done with a method inspired by tomography that gives us a volumetric representation of the tree. The high frequency detail of the leaves is added by an algorithm of texture generation using the original images. The result is a very realistic rendering of real captured trees that can be added in a virtual environment. The virtual reality system presented in the second part of the thesis integrates image-based rendering methods, and other algorithms for the realistic rendering (shadows, 3D sound, etc. ). Our work on this real world project allowed us to evaluate the choices on realism and the interface of the system. We present here the first conclusions of our observation

Résumé

Cette thèse traite le problème de la capture des objets réels dans le but de les intégrer dans un environnement de réalité virtuelle et de les afficher efficacement. La thèse a deux parties : dans la première partie, nous présentons deux nouvelles méthodes pour la capture et le rendu des objets réels avec des techniques à base d’images, et dans la deuxième, nous présentons un système intégré de réalité virtuelle qui permet l’utilisation de plusieurs techniques réalistes pour la conception et l’évaluation de projets d’urbanisme. La première méthode proposée permet la capture d’objets réels avec une géométrie relativement simple. La capture se fait à partir d’un faible nombre de photographies. Avec cette méthode, les objets capturés ont une représentation compacte. La deuxième méthode proposée traite le cas des objets complexes comme les arbres, à partir d’un ensemble de photographies prises autour de l’objet. Une première estimation de l’opacité est effectue avec une méthode inspirée de la tomographie, ce qui donne une représentation volumique de l’arbre. Ensuite, le détail de haute fréquence du feuillage est ajouté par un algorithme de génération de textures à partir des images d’origine. Le résultat est l’affichage très réaliste des arbres réels capturés, qui peuvent être insérés dans des environnements virtuels. Le système de réalité virtuelle présenté dans la deuxième partie de la thèse intègre des méthodes d’affichage à base d’images, ainsi que d’autres algorithmes d’affichage réaliste (ombres, son, etc. ) Notre travail dans le cadre d’un projet réel nous a permis d’évaluer nos choix sur le réalisme et l’interfaçage du système. Nous présentons ici nos conclusions.