Structure d'une image : de la réalité augmentée à la stylisation

Image structures : from augmented reality to image stylization

• Auteur / Autrice : Jiazhou Chen
• Direction : Xavier Granier, Qun-sheng Peng, Pascal Barla
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/07/2012
• Etablissement(s) : Bordeaux 1
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Bordelais de Recherche en Informatique
• Jury : Examinateurs / Examinatrices : Adrien Bousseau, Pascal Guitton
• Jury : Rapporteurs / Rapporteuses : Joëlle Thollot, Enhua Wu

Mots clés

Mots clés contrôlés

Réalité augmentée

Traitement d'images -- Techniques numériques

Perception des images

Mots clés libres

Structures d’une image

Réalité augmentée

Stylisation d’images et de vidéos

Champ de gradient

Contours et lignes

Image structure

Augmented reality

Image and video stylization

Gradient field

Contours and lines

Résumé

Dans cette thèse, nous nous intéressons aux structures d’une image en général, et plus particulièrement aux gradients et aux contours. Ces dernières se sont révélées très importantes ces dernières années pour de nombreuses applications en infographie,telles que la réalité augmentée et la stylisation d’images et de vidéos. Le but de toute analyse des structures d’une image est de décrire à un haut-niveau la compréhension que l’on peut avoir de son contenu et de fournir les bases nécessaires à l’amélioration de la qualité des applications citées au-dessus, notamment la lisibilité, la précision, la cohérence spatiale et temporelle.Dans une premier temps, nous démontrons le rôle important que ces structures jouent pour des applications de type composition “Focus+Context”. Une telle approche est utilisée en réalité augmentée pour permettre la visualisation de parties d’une scènes qui sont normalement derrières ce que l’on peut observer dans un flux vidéo. L’utilisation d’une segmentation et de lignes caractéristiques permettent de mettre en avant et/ou de révéler les relations d’ordre entre les différents objets de la scène. Pour la synthèse d’images guidée par une fonction d’importance, de multiples styles de rendu sont combinés de manière cohérente grâce à l’utilisation d’une carte de gradients et une de saillance.Dans un deuxième temps, nous introduisons une nouvelle techniques qui permet de reconstruire de manière continue un champ de gradient, et ceci sans trop lisser les détails originaux contenus dans l’image. Pour cela, nous développons une nouvelle méthode d’approximation locale et de plus haut-degré pour des champs de gradients discrets et non-orientés. Cette méthode est basée sur le formalisme“moving least square” (MLS). Nous démontrons que notre approximation isotrope et linéaire est de meilleure qualité que le classique tenseur de structure : les détails sont mieux préservés et les instabilités sont réduites de manière significative. Nous démontrons aussi que notre nouveau champ de gradients apporte des améliorations à de nombreuses techniques de stylisation.Finalement, nous démontrons que l’utilisation d’une technique d’analyse de profil caractéristique par approximation polynomiale permet de distinguer les variations douces des zones dures. Les paramètres du profil sont utilisés comme des paramètres de stylisation tels que l’orientation des coups de pinceau, leur taille et leur opacité. Cela permet la création d’une large variété de styles de ligne.

In this thesis we consider in general image structures and more specifically, imagegradient and contours. They have been proven useful in recent years for variouscomputer graphics applications, such as Augmented Reality (AR), image and videostylization. The goal of analyzing image structures is to describe a high level understandingof image contents and to provide a powerful support to improve thequality of applications, such as visual legibility, accuracy, spatial and temporal coherence.We first demonstrate the important role of image structures in Focus+Contextcompositing. For Focus+Context rendering in AR, a technique dedicated to the visualizationof hidden scenes in video streams, the use of screen segmentation andfeature lines significantly emphasizes the depth cues of occluded scenes, and revealsthe correct occluding order. For importance-driven image synthesis, multiplerendering styles are combined in a coherent manner by using image gradient fieldand saliency map.In the second part, we thus introduce a new approach to estimate a continuousgradient field without oversmoothing the original details contained in an image.For this purpose, we develop a new and higher-order local approximation methodof discrete non-oriented gradient fields based on a moving least square (MLS) formalism.We show that our isotropic linear approximation outperforms classicalstructure tensor: image details are better preserved and instabilities are significantlyreduced. We demonstrate how our non-oriented MLS gradient field benefitsto various image stylization approaches.Finally, we demonstrate that the use of a feature profile analysis for image lineextraction via fitting techniques permits to distinguish sharp and smooth features.Profile parameters are then mapped to stylistic parameters such as brush orientation,size or opacity to give rise to a wide range of line-based styles.