Thèse soutenue

Méthodes basées image pour le rendu d’effets dépendants du point de vue dans les scènes réelles et synthétiques
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Simon Rodriguez
Direction : George Drettakis
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 08/09/2020
Etablissement(s) : Université Côte d'Azur
Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Sophia Antipolis, Alpes-Maritimes)
Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes) - GRAPHics and DEsign with hEterogeneous COntent
Jury : Président / Présidente : Pierre Alliez
Examinateurs / Examinatrices : George Drettakis, Pierre Alliez, Elmar Eisemann, Michael Goesele, Tamy Boubekeur
Rapporteurs / Rapporteuses : Elmar Eisemann, Michael Goesele

Mots clés

FR  |  
EN

Résumé

FR  |  
EN

La création et le rendu interactif d’environnements réalistes est un problème complexe qui requiert de nombreux réglages et ajustements manuels. Les méthodes basées-image visent à simplifier ces tâches en utilisant des vues existantes d’une scène réelle ou synthétique. Ces points de vue peuvent être capturés dans le monde réel ou générés grâce à des algorithmes de rendu hors-ligne très réalistes. Pour générer un nouveau point de vue sur la scène, la géométrie et l’apparence associées sont estimées à partir de l’information des vues existantes, permettant l’exploration de l’environnement en temps réel.Lorsque les vues d’entrée ne couvrent la scène que partiellement, spatialement ou angulairement, des artefacts apparaissent souvent ; utiliser un faible nombre d’images d’entrée limite la qualité de la reconstruction des scènes réelles, tandis que les matériaux non-diffus compliquent le rendu des scènes tant réelles que synthétiques. Nous proposons plusieurs méthodes pour contourner ces limitations, en améliorant la façon dont l’information est stockée et agrégée depuis les vues d’entrée tout en exploitant les redondances. Nous décrivons aussi des outils géométriques afin de reprojeter les effets dépendants du point de vue pour la génération d’une nouvelle vue.Pour les scènes tirées du monde réel, nous détectons la présence de matériaux et objets grâce à de l’information sémantique. Nous présentons tout d’abord une méthode pour reconstruire et rendre des éléments architecturaux à partir de quelques vues. Nous exploitons la nature répétitive de ces éléments, extrayant et combinant leur information d’apparence et de géométrie pour générer une représentation commune idéale qui peut par la suite être réinsérée dans la scène initiale. Cette combinaison améliore l’estimation des paramètres des vues d’entrée, la reconstruction de la géométrie de l’élément, et est utile pour détecter les régions comportant des effets spéculaires dépendants du point de vue.Nous décrivons une deuxième méthode qui s’appuie aussi sur la sémantique de la scène pour améliorer le rendu d’environnements urbains. Dans ces scènes, les voitures présentent de nombreux effets dépendants du point de vue qui les rendent complexes à reconstruire et rendre fidèlement. Nous détectons et extrayons ces éléments grâce à une paramétrisation spécifique à chaque instance, afin de raffiner leur géométrie, tout en construisant une représentation simplifiée des surfaces réflectives, telles que les fenêtres. Pour rendre les effets dépendants du point de vue, nous séparons l’information spéculaire de chaque vue d’entrée et utilisons notre représentation analytique des réflecteurs pour reprojeter l’information dans la nouvelle vue, en respectant le déplacement des réflexions.Enfin, bien que les scènes synthétiques fournissent une information exacte de la géométrie et des matériaux présents, restituer fidèlement les effets non-diffus de façon interactive reste difficile. En nous inspirant de notre deuxième méthode, nous proposons une nouvelle approche pour rendre ces effets en utilisant de l’illumination globale précalculée. Pour un ensemble de points de vue prédéfinis dans la scène, nous précalculons l’information spéculaire, stockée dans des images panoramiques. Grâce à une représentation simplifiée de la géométrie, nous pouvons estimer le déplacement des réflexions de façon robuste, accumulant dans la nouvelle vue l’information provenant des panoramas. Combinée avec une paramétrisation adaptative des images panoramiques et un filtre de reconstruction préservant les matériaux, cette méthode restitue les effets de réflexions pour différent types de matériaux, de façon interactive.Les résultats obtenus grâce à nos méthodes montrent une amélioration de la qualité du rendu des effets dépendants du point de vue, que ce soit pour des données synthétiques ou du monde réel. Ces travaux ouvrent la voie à de futures recherches sur les techniques basées-image pour le rendu réaliste.