Modélisation et animation de surfaces développables, et embarquement sur vidéo

par Amélie Fondevilla

Projet de thèse en Mathématiques et Informatique

Sous la direction de Stefanie Hahmann et de Damien Rohmer.

Thèses en préparation à Grenoble Alpes , dans le cadre de Mathématiques, Sciences et technologies de l'information, Informatique , en partenariat avec Laboratoire Jean Kuntzmann (laboratoire) depuis le 20-09-2016 .


  • Résumé

    Créer efficacement du contenu 3D est l'une des principales problématiques traitées en Informatique Graphique. L'équipe de recherche Imagine invente des solutions intuitives pour la modélisation, comme l'esquisse ou la sculpture afin de permettre la création interactive de formes complexes, et potentiellement leur animation. Cette thèse traite de la sculpture et de l'animation de modèles 3D d'objets cousus, comme des vêtements, chaussures ou accessoires de mode, à partir d'images, ainsi que de l'embarquement de ces modèles sur vidéo. Notre but est de développer une toute nouvelle technologie. Tandis que les techniques standards de modélisation basée sur croquis parviennent à créer des modèles 3D statiques à partir de dessins [1,2], et que ces méthodes ont été étendues au cas des surfaces développables [3], l'objectif de cette thèse est de créer un modèle 3D à partir d'une suite de dessins, ou de photos annotées et de l'utiliser embarqué sur une vidéo pour habiller une personne. Une application possible serait la création d'une cabine d'essayage virtuelle, dans laquelle une personne réelle, dont les poses et les mouvements seraient capturées à l'aide de la vidéo, serait habillée avec différents vêtements. Ces vêtements devraient être animés de manière réaliste. Ce problème complexe soulève différentes problématiques. La première est liée aux particularités géométriques des objets cousus. En effet, chaque pièce de tissus ayant été cousue pour constituer le vêtement doit être développable sur le plan, c'est-à-dire être développée en son patron 2D. Cela n'implique pas seulement que la surface reconstruite à partir d'une image doit être développable. Il est de plus nécessaire de préserver cette forte contrainte durant la sculpture et l'animation de ces surfaces. Nous utiliserons comme point de départ les récentes recherches sur le thème des surfaces développables dynamiques [4,5]. La deuxième problématique est de transférer et d'embarquer un modèle 3D de vêtement sur une personne mobile dans une vidéo. Pour répondre à ce problème, nous comptons nous inspirer de la solution proposée par Brouet et al. [6], qui devra être étendue pour s'adapter à une entrée vidéo, et gérer une motricité dynamique. [1] True2Form: 3D Curve Networks from 2D Sketches via Selective Regularization Baoxuan Xu, William Chang, Alla Sheffer, Adrien Bousseau, James McCrae, Karan Singh, ACM Transactions on Graphics, 2014 [2] 3D Modeling with a Symmetric Sketch. C. Öztireli, U. Uyumaz, T. Popa, A. Sheffer, M. Gross, Sketch-Based Interface and Modeling (SBIM) 2011 [3] Sketching Folds: Developable Surfaces from Non-Planar Silhouettes. Amaury Jung, Stefanie Hahmann, Damien Rohmer, Antoine Begault, Laurence Boissieux, Marie-Paule Cani, ACM Transactions on Graphics 2015 [4] Interactive Design of Developable Surfaces. Tang, Chengcheng and Bo, Pengbo and Wallner, Johannes and Pottmann, Helmut, ACM Transactions on Graphics 35 (2), 2016. [5] Modeling dynamic developable meshes by the Hamilton principle. Yong-Jin Liu and Kai Tang and Ajay Joneja, Computer-Aided Design 39 (9), pp. 719 – 731, 2007. [6] Design Preserving Garment Transfer. Brouet, Remi and Sheffer, Alla and Boissieux, Laurence and Cani, Marie-Paule, SIGGRAPH 2012, ACM Transactions on Graphics 31 (4), 2012.

  • Titre traduit

    Sculpting and animating developable surfaces with video embedding


  • Résumé

    The efficient creation of virtual 3D content is a major issue in Computer Graphics industry and research. The Imagine research team builds on intuitive modeling metaphors such as sketching and sculpting to enable user-centered interactive creation of complex shapes, possibly animated. This thesis addresses the sculpture and animation of sewed 3D models such as clothes, shoes or accessories from pictures, and their embedding in videos. Our goal is to develop a brand new methodology: Whereas standard sketch-based modeling techniques are able to create static 3D models from drawings [1,2], which we extended already to developable surfaces [3], the goal of the thesis is to create a 3D model from a sequence of sketches or annotated pictures and to use it for seamlessly embedding a person with another dress in a video. One possible application scenario is a virtual dressing session, where real person, whose poses and movements are captured from a video, is dressed with new garments. The clothes have to be animated accordingly. Different challenges have to be addressed to solve this challenging problem. The first one is related to the specific geometry of sewed clothes. Indeed, the pieces sewed together to shape the cloth have to be developable onto the plane, i.e. onto their corresponding 2D patterns. This implies not only that the reconstructed surface from an image has to be a developable surface. But we also need to guarantee that this strong geometric constraint will be preserved throughout sculpting and animation. Recent work on dynamic developable surfaces [4,5] will serve as a staring point. The second challenge is the transfer and embedding of a 3D cloth model to a moving person in a video. Here, we plan to inspire from the solution proposed in Brouet et al. [6], which will need to be extend to video input and to dynamic motion. [1] True2Form: 3D Curve Networks from 2D Sketches via Selective Regularization Baoxuan Xu, William Chang, Alla Sheffer, Adrien Bousseau, James McCrae, Karan Singh, ACM Transactions on Graphics, 2014 [2] 3D Modeling with a Symmetric Sketch. C. Öztireli, U. Uyumaz, T. Popa, A. Sheffer, M. Gross, Sketch-Based Interface and Modeling (SBIM) 2011 [3] Sketching Folds: Developable Surfaces from Non-Planar Silhouettes. Amaury Jung, Stefanie Hahmann, Damien Rohmer, Antoine Begault, Laurence Boissieux, Marie-Paule Cani, ACM Transactions on Graphics 2015 [4] Interactive Design of Developable Surfaces. Tang, Chengcheng and Bo, Pengbo and Wallner, Johannes and Pottmann, Helmut, ACM Transactions on Graphics 35 (2), 2016. [5] Modeling dynamic developable meshes by the Hamilton principle. Yong-Jin Liu and Kai Tang and Ajay Joneja, Computer-Aided Design 39 (9), pp. 719 – 731, 2007. [6] Design Preserving Garment Transfer. Brouet, Remi and Sheffer, Alla and Boissieux, Laurence and Cani, Marie-Paule, SIGGRAPH 2012, ACM Transactions on Graphics 31 (4), 2012.