Capturer la géométrie dynamique vivante dans les cages

Capturing life-like dynamic geometry into cages

• Auteur / Autrice : Yann Savoye
• Direction : Pascal Guitton, Jean-Sébastien Franco
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/12/2012
• Etablissement(s) : Bordeaux 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Jean-Philippe Domenger
• Jury : Examinateurs / Examinatrices : Laurent Grisoni, Christophe Schlick
• Jury : Rapporteurs / Rapporteuses : Marie-Paule Cani, Bruno Levy

Mots clés

Mots clés contrôlés

Animation par ordinateur

Mots clés libres

Animation

Vision

Graphique

Computer animation

Computer vision

Computer graphics

Résumé

Reconstruire, synthétiser, analyser et réutiliser les formes dynamiques capturées depuis le monde en mouvement est un défi récent qui reste encore en suspens. Dans cette thèse, nous abordons le problème de l'extraction, l'acquisition et la réutilisation d'une paramétrisation non-rigide pour l'animation basée vidéo. L'objectif principal étant de préserver les propriétés globales et locales de la surface capturée sans squelette articulé, grâce à un nombre limité de paramètres contrôlables, flexibles et réutilisables. Pour résoudre ce problème, nous nous appuyons sur une réduction de dimensions détachée de la surface reposant sur le paradigme de la représentation par cage. En conséquence, nous démontrons la force d'un sous-espace de la forme d'une cage géométrique pour encoder des surfaces fortement non-rigides.

Reconstructing, synthesizing, analyzing to re-using dynamic shapes that are captured from the real-world in motion isa recent and outstanding challenge. Nowadays, highly-detailed animations of live-actor performances are increasinglyeasier to acquire and 3D Video has reached considerable attention in visual media production. In this thesis, we addressthe problem of extracting or acquiring and then reusing non-rigid parametrization for video-based animations. At firstsight, a crucial challenge is to reproduce plausible boneless deformations while preserving global and local capturedproperties of the surface with a limited number of controllable, flexible and reusable parameters. To solve this challenge,we directly rely on a skin-detached dimension reduction thanks to the well-known cage-based paradigm. Indeed, to thebest of our knowledge, this dissertation opens the field of cage-based performance capture. First, we achieve ScalableInverse Cage-based Modeling by transposing the inverse kinematics paradigm on surfaces. To do this, we introduce acage inversion process with user-specified screen-space constraints. Secondly, we convert non-rigid animated surfacesinto a sequence of estimated optimal cage parameters via a process of Cage-based Animation Conversion. Building onthis reskinning procedure, we also develop a well-formed Animation Cartoonization algorithm for multi-view data in termof cage-based surface exaggeration and video-based appearance stylization. Thirdly, motivated by the relaxation of priorknowledge on the data, we propose a promising unsupervised approach to perform Iterative Cage-based GeometricRegistration. This novel registration scheme deals with reconstructed target point clouds obtained from multi-view videorecording, in conjunction with a static and wrinkled template mesh. Above all, we demonstrate the strength of cage-basedsubspaces in order to reparametrize highly non-rigid dynamic surfaces, without the need of secondary deformations. Inaddition, we state and discuss conclusions and several limitations of our cage-based strategies applied to life-like dynamicsurfaces, captured for vision-oriented applications. Finally, a variety of potential directions and open suggestions for furtherwork are outlined.