Capture volumétrique à partir d'images RVB basée sur le rendu différentiel

Volumetric capture from RGB images using differential rendering

• Auteur / Autrice : Briac Toussaint
• Direction : Jean-Sébastien Franco, Edmond Boyer
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/09/2025
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble, Isère, France ; 2007-....)
• Jury : Président / Présidente : Georges-Pierre Bonneau
• Jury : Examinateurs / Examinatrices : Christian Theobalt, Torsten Sattler
• Jury : Rapporteurs / Rapporteuses : Adrian Hilton, George Drettakis
• DOI : 10.70675/876dfad5za33ez424bza8b6z61fb59775b5f

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Reconnaissance multivues

Vision par ordinateur

Mots clés libres

Rendu différentiel

Capture de Performance

Reconstruction Multi-Vue

Vision par Ordinateur

Vision 3D

Differential rendering

Performance capture

Multi-View Reconstruction

Computer Vision

3D Vision

Résumé

La capture volumétrique vise à récupérer la forme et l'apparence d'une personne. Nous prenons ici le cas d'une plateforme de capture passive, contenant uniquement des caméras couleur synchronisées. À partir de cette modalité d'entrée, cette thèse étudie l'applicabilité du rendu différentiel à cette tâche.Nous définissons deux objectifs concurrents qu'un algorithme de reconstruction doit atteindre pour être efficace dans ce contexte. Le plus important est d'atteindre une grande précision, tant en termes de géométrie que de photoréalisme. Le second objectif est d'y parvenir avec parcimonie, avec des ressources de calcul limitées. Cette dernière exigence devient particulièrement importante si l'on considère des séquences temporelles et des images d'entrée haute résolution.Le rendu différentiel permet de faire le rendu de nouveau points de vue autour d’une scène de façon très convaincante, et des pistes prometteuses ont été proposées pour améliorer la qualité géométrique des formes récupérées. Cependant, ces travaux sont généralement validés sur des bases de données d'objets génériques plutôt que sur des humains réels dans un contexte de capture volumétrique, avec des budgets de calcul disproportionnés ou une extensibilité restreinte.S’inspirant de ces approches prometteuses, nos travaux exploitent le rendu différentiel volumétrique où la forme est paramétrée soit par un champ d'opacité, ou bien par une surface implicite. Nous développons un nouveau pipeline pour répondre aux contraintes d'efficacité et d’extensibilité, avec des changements majeurs par rapport à une implémentation naïve. En particulier, nous basons notre méthodologie sur une grille de voxels creuse avec une stratégie de réallocation dynamique. Nous développons un nouveau modèle d'apparence, à la fois expressif et efficace, permettant de reconstruire des matériaux brillants à faible coût. Nous incluons également une initialisation basée sur les silhouettes et une supervision à partir d'images d'arrière-plan, applicables spécifiquement dans une plateforme de capture.De plus, nous proposons un nouveau jeu de données constitué de mannequins habillés, pour comparer les algorithmes de reconstruction sur des images réelles prises dans une plateforme de capture, et permettant une évaluation juste et impartiale dans ce contexte. Nous évaluons nos travaux par rapport à un panel d'approches stéréo multi-vues classiques, d’approches de rendu différentiel de surface implicite et d'approches de splatting de gaussiennes 3D, et démontrons des améliorations en termes de précision et d'efficacité par rapport à l'état de l'art.Cette étude s'avère concluante : nous obtenons une précision millimétrique sur ce benchmark et un rendu en temps réel, avec environ une minute de calcul sur un seul GPU. Ces résultats sont généralisables non seulement aux scènes humaines, mais aussi aux objets génériques, comme nous le démontrons en évaluant notre approche sur des benchmarks représentatifs de reconstruction d'objets et d'humains.

Volumetric capture aims to recover the shape and appearance of a person from multi-view inputs. Here, we assume the case of a passive capture setup built from synchronized color cameras alone. Based on this input modality, this thesis investigates the applicability of differential rendering for this task.We define two competing goals that a reconstruction algorithm should meet to be effective in this setting. The most important one is to achieve high accuracy, both in terms of geometry and photo-realism of newly generated viewpoints. The second goal is to do so parsimoniously, under limited computational resources. The latter requirement becomes especially important once temporal sequences and high-resolution input images come into play.Differential rendering has been widely successful for novel view synthesis and promising ideas have been proposed for better geometric quality of recovered shapes. However, these works are typically validated on generic object databases rather than real humans in a volumetric capture context, under disproportionate computational budgets or limited scalability.Following these promising approaches, our work leverages volumetric differential rendering where the shape is either parametrized by an opacity field or an implicit surface. We develop a novel pipeline to address the efficiency and scalability constraints, with major changes compared to a naive implementation. In particular, we base our methodology on a sparse voxel grid with a dynamic reallocation and pruning strategy. We develop a novel appearance model that is expressive yet efficient, reconstructing shiny materials at a low cost. We also include silhouette-based initialization and supervision from background images, specifically applicable in a capture platform.Additionally, we propose a novel dataset of clothed mannequins to benchmark reconstruction algorithms on real images taken in a capture platform, allowing for a fair and unbiased evaluation in this setting. We evaluate our work against a panel of classic multi-view stereo approaches, implicit surface differential renderers and 3D gaussian splatting approaches and demonstrate improvements both in terms of accuracy and efficiency over the state of the art.This investigation proves successful as we achieve millimeter accuracy on said benchmark and real-time novel view synthesis, with about a minute of computations on a single GPU. These results generalize not only to human scenes but also to generic objects, as we prove by evaluating our approach on representative human and object reconstruction benchmarks.