Automatic Cinematography and Editing in Virtual Environments.

par Quentin Galvane

Thèse de doctorat en Mathématiques et Informatique

Sous la direction de Rémi Ronfard.

Soutenue le 26-10-2015

à Grenoble Alpes , dans le cadre de École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble) , en partenariat avec Laboratoire Jean Kuntzmann (Grenoble) (laboratoire) et de Laboratoire Jean Kuntzmann (laboratoire) .

Le président du jury était Gérard Bailly.

Le jury était composé de Remi Ronfard, Marc Christie, Arnav Jhala, Philippe Guillotel.

Les rapporteurs étaient Karan Singh, Mateu Sbert.

  • Titre traduit

    Cinématographie et montage automatique dans des environnements virtuels


  • Résumé

    La libre diffusion de modèles 3D de qualité ainsi que la mise à disposition de nombreux moyens facilitant la création de contenus animés ont permis de populariser la production d'oeuvres cinématographiques 3D.A l'heure actuelle, on peut cependant observer un manque important d'outils permettant de traiter la cinématographie (placement des caméras pour l'enregistrement des plans) et d'effectuer le montage de tels contenus (sélection des plans et transitions entre caméras). La création d'un film nécessite la connaissance d'un grand nombre de règles et de conventions.La plupart des systèmes d'animation ne disposant pas de ces connaissances, le besoin de méthodes automatiques qui pourraient, au moins partiellement, assister l'utilisateur dans son entreprise créative, se fait de plus en plus ressentir. A travers cette thèse, nous abordons à la fois la gestion automatique de la cinématographie ainsi que le montage des plans générés.L'utilisation de caméras pour retranscrire les actions et événements se déroulant au sein d'un environnement dynamique est une préoccupation importante de beaucoup d'applications graphiques. Dans le contexte de la simulation de foule, nous présentons une nouvelle approche qui aborde le contrôle simultané de plusieurs caméras filmant un groupe de cibles. Nous proposons un système se reposant sur le modèle de "comportements guidées" développé par Reynolds. Celui-ci permet de contrôler et coordonner localement un ensemble de caméras évoluant dans un environnement afin de filmer les différents événements s'y déroulant.Le montage d'un film est une tache particulièrement complexe et méticuleuse qui nécessite de profondes connaissances du domaine. L'automatisation de cette tache requiert donc la formalisation de cette expertise. En utilisant la méthode de montage linéaire - ou "continuity editing" ; il s'agit de la technique de montage la plus utilisée - comme référence pour l'évaluation du montage, nous présentons une nouvelle approche au montage automatique d'animations 3D se reposant sur une méthode d'optimisation. En s'appuyant sur une hypothèse semi-Markovienne, notre méthode utilise la programmation dynamique afin de calculer efficacement les solutions.A partir de notre première contribution, nous proposons ensuite une nouvelle approche à la création de "replay" cinématiques qui utilise à la fois les informations narratives et géométriques extraites du jeu pour automatiquement calculer la trajectoire de la caméra. En combinant ce système avec notre framework de montage, notre solution génère rapidement les replay de sessions de jeu.Enfin, en prenant inspiration de pratiques couramment utilisées dans l'industrie du cinéma, nous proposons une nouvelle approche à la planification de mouvements de caméra. Notre solution assure le réalisme des trajectoires en contraignant les caméras sur des rails virtuels. La position et l'orientation de la caméra sont optimisées dans le temps le long du rail pour satisfaire différentes propriétés visuelles. Les plans générés sont ensuite envoyés à notre framework de montage qui génère alors la séquence cinématographique.


  • Résumé

    The wide availability of high-resolution 3D models and the facility to create new geometrical and animated content, using low-cost input devices, open to many the possibility of becoming digital 3D storytellers. To date there is however a clear lack of accessible tools to easily create the cinematography (positioning and moving the cameras to create shots) and perform the editing of such stories (selecting appropriate cuts between the shots created by the cameras). Creating a movie requires the knowledge of a significant amount of empirical rules and established conventions. Most 3D animation packages do not encompass this expertise, calling the need for automatic approaches that would, at least partially, support users in their creative process. In this thesis we address both challenges of automating cinematography and editing in virtual environments.Using cameras to convey events and actions in dynamic environments is a major concern in many CG applications.In the context of crowd simulation, we present a novel approach to address the challenge of controlling multiple cameras tracking groups of targets. In this first contribution we propose a system that relies on Reynolds' model of steering behaviors to control and locally coordinate a collection of autonomous camera agents evolving in the dynamic 3D environments to shot multi-scale events.Editing a movie is a complex and tedious endeavor that requires a lot of expertise in the field. Therefore, automating the process calls for a formalization of this knowledge. Using continuity editing -- the predominant style of editing -- as a benchmark for evaluating edits, we introduce a novel optimization-based approach for automatically creating well-edited movies from a 3D animation. We propose an efficient solution through dynamic programming, by relying on a plausible semi-Markov assumption.Building upon our first contribution we then propose a novel importance-driven approach to cinematic replay that exploits both the narrative and geometric information in games to automatically compute camera paths. Combined with our editing framework, our solution generates coherent cinematic replays of game sessions.Finally, drawing inspiration from standard practices in the movie industry, we introduce a novel approach to camera path planning. This solution ensures realistic trajectories by constraining camera motion on a virtual rail. The camera position and orientation are optimized in time along the rail to best satisfy visual properties. The computed shots constitute relevant inputs for the editing framework which then generates compelling cinematographic content.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse ?

Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.