Fusion d'approches photométriques et géométriques pour la création de modèles 3D

Fusion of photometric and geometric approaches for the creation of 3D-models

• Auteur / Autrice : Jean Mélou
• Direction : Jean-Denis Durou, Yvain Quéau
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunication
• Date : Soutenance le 12/03/2020
• Etablissement(s) : Toulouse, INPT
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Vincent Charvillat
• Jury : Examinateurs / Examinatrices : Jean-Denis Durou, Yvain Quéau, Maurizio Falcone, Alfred M. Bruckstein, Géraldine Morin, François Lauze, Noura Faraj
• Jury : Rapporteurs / Rapporteuses : Maurizio Falcone, Alfred M. Bruckstein

Mots clés

Mots clés contrôlés

Photométrie

Photogrammétrie

Reconstruction d'image

Modélisation tridimensionnelle

Mots clés libres

Photométrie

Photogrammétrie

Reconstruction 3D

Albédo

Texture

Photometry

Photogrammetry

3D-reconstruction

Albedo

Texture

Résumé

Les solutions opérationnelles de reconstruction 3D à partir de photographies se fondent généralement sur des méthodes multi-vues, dites géométriques, qui n'utilisent que très partiellement les informations photométriques contenues dans les images. L'utilisation de ces dernières doit permettre, à la fois, d’augmenter la finesse du relief reconstruit et d’estimer les caractéristiques photométriques de la scène que sont la réflectance de la surface et l’éclairage incident. Cette thèse montre comment une approche combinant les techniques multi-vues et les techniques photométriques peut effectivement améliorer un pipeline de reconstruction 3D. Nous commençons par présenter une façon de rendre la méthode du shape-from-shading opérationnelle en conditions d'éclairage naturel. Ceci nous permet de combiner les approches multi-vues et photométriques sous la forme d'un problème variationnel, pour lequel nous proposons un schéma numérique de résolution. Cependant, comme le shape-from-shading luimême, la méthode proposée nécessite la connaissance a priori de la réflectance et de l’éclairage. Nous présentons une méthode d'estimation conjointe de ces deux grandeurs à partir d'un relief grossier de la scène. En guise de conclusion, nous présentons un algorithme qui, à partir des images utilisées par un pipeline de reconstruction 3D multi-vues, permet d'estimer une carte de réflectance et une carte de profondeur par vue, ainsi que l’éclairage de la scène.

Practical solutions for 3D-reconstruction from photographs are generally based on multi-view methods (called geometric methods) that only very partially use the photometric information contained in the images. The use of the latter should increase the fineness of the reconstructed relief and allow the estimate of the photometric characteristics of the scene, i.e. surface reflectance and incident lighting. This thesis shows how an approach combining multiview and photometric techniques can effectively improve a 3D-reconstruction pipeline. We start by presenting a way to make the shape-from-shading method operational in daylight conditions. This allows us to combine multiview and photometric approaches in the form of a variational problem, for which we propose a numerical solving scheme. However, like shape-from-shading itself, the proposed method requires an a priori knowledge of reflectance and lighting. We present a method for the joint estimation of both these quantities from a coarse relief of the scene. As a conclusion, we present an algorithm which, from the images used by a multi-view 3D-reconstruction pipeline, allows us to estimate a reflectance map and a depth map per view, as well as the lighting of the scene.