Rigging and retargetting of 3D facial animations from video : towards real-time applications
Paramétrisation et transfert d’animations faciales 3D à partir de séquences vidéo : vers des applications en temps réel
Résumé
Facial animation is one of the key points of the realism of 3D scenes featuring virtual humans. This is due to several reasons : face and the many muscles that compose it can generate a multitude of expressions ; then, our faculty of perception provides us a great ability to detect and analyze its smallest variations. This complexity is reflected in existing approaches by the fact that it is very difficult to create an animation without a long and a tedious manual work. Based on these observations, this thesis aims to develop techniques that contribute to the process of creating facial animation. Three main themes have been addressed. The first concerns the rigging issue of a virtual 3D face for animation. Rigging aims at defining control parameters in order to deform and animate the face. The second deals with the animation, especially on the animation retargeting issue. The goal is to propose a method to animate a character’s face from various data. These data can be obtained from a motion capture system or from an existing 3D facial animation. Finally, we focus on animation finescale details like wrinkles. Although these are thin and discreet, their deformations play an important part in the perception and analysis of emotions. Therefore we propose a monocular acquisition technique and a reference pose based method to synthetise dynamically animation fine details over the face. The purpose is to propose methods to facilitate and improve the process of creating realistic facial animations for interactive applications. We focused on ease to use in addition to the real-time aspect. Moreover, we offer the possibility to the user or graphist to interact in order to personalize its creation and/or improve the results
L’animation faciale est l’un des points clés dans le réalisme des scènes 3D qui mettent en scène des personnages virtuels. Ceci s’explique principalement par les raisons suivantes : le visage et les nombreux muscles qui le composent permettent de générer une multitude d’expressions ; ensuite, notre faculté de perception nous permet de détecter et d’analyser ses mouvements les plus fins. La complexité de ce domaine se retrouve dans les approches existantes par le fait qu’il est très difficile de créer une animation de qualité sans un travail manuel long et fastidieux. Partant de ce constat, cette thèse a pour but de développer des techniques qui contribuent au processus de création d’animations faciales. Trois thèmes sont principalement abordés. Le premier concerne la paramétrisation du visage pour l’animation. La paramétrisation a pour but de définir des moyens de contrôle pour pouvoir déformer et animer le visage. Le second s’oriente sur l’animation, et plus particulièrement sur le transfert d’animation. Le but est de proposer une méthode qui permette d’animer le visage d’un personnage à partir de données variées. Ces données peuvent être issues d’un système de capture de mouvement, ou bien elles peuvent être obtenues à partir de l’animation d’un personnage virtuel qui existe déjà. Enfin, nous nous sommes concentrés sur les détails fins liés à l’animation comme les rides. Bien que ces rides soient fines et discrètes, ces déformations jouent un rôle important dans la perception et l’analyse des émotions. C’est pourquoi nous proposons une technique d’acquisition mono-caméra et une méthode à base de poses références pour synthétiser dynamiquement les détails fins d’animation sur le visage. L’objectif principal des méthodes proposées est d’offrir des solutions afin de faciliter et d’améliorer le processus de création d’animations faciales réalistes utilisées dans le cadre d’applications en temps réel. Nous nous sommes particulièrement concentrés sur la facilité d’utilisation et sur la contrainte du temps réel. De plus, nous offrons la possibilité à l’utilisateur ou au graphiste d’interagir afin de personnaliser sa création et/ou d’améliorer les résultats obtenus
Domaines
Ordinateur et société [cs.CY]
Origine : Version validée par le jury (STAR)
Loading...