Novel texture synthesis methods and their application to image prediction and image inpainting

• Auteur / Autrice : Mehmet Türkan
• Direction : Christine Guillemot
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2011
• Etablissement(s) : Rennes 1
• Partenaire(s) de recherche : autre partenaire : Université européenne de Bretagne (2007-2016)

Mots clés

Mots clés contrôlés

Représentation parcimonieuse

Codage

Compression d'images

Traitement d'images

Traitement du signal

Résumé

This thesis presents novel exemplar-based texture synthesis methods for image prediction (i. E. , predictive coding) and image inpainting problems. The main contributions of this study can also be seen as extensions to simple template matching, however the texture synthesis problem here is well-formulated in an optimization framework with different constraints. The image prediction problem has first been put into sparse representations framework by approximating the template with a sparsity constraint. The proposed sparse prediction method with locally and adaptive dictionaries has been shown to give better performance when compared to static waveform (such as DCT) dictionaries, and also to the template matching method. The image prediction problem has later been placed into an online dictionary learning framework by adapting conventional dictionary learning approaches for image prediction. The experimental observations show a better performance when compared to H. 264/AVC intra and sparse prediction. Finally a neighbor embedding framework has been proposed for image prediction using two data dimensionality reductions methods: non-negative matrix factorization (NMF) and locally linear embedding (LLE). This framework has then been extended to the image inpainting problem. The experimental evaluations demonstrate the effectiveness of the underlying ideas in both image prediction and inpainting applications.

Cette thèse présente de nouvelles méthodes de synthèse de texture basées sur l'exemple pour les problèmes de prédiction d'images (c'est à dire, codage prédictif) et d'inpainting d'images. Les principales contributions de cette étude peuvent aussi être vues comme des extensions du template matching. Cependant, le problème de synthèse de texture tel que nous le définissons ici se situe plutôt dans un contexte d'optimisation formalisée sous différentes contraintes. Le problème de prédiction d'images est d'abord situé dans un contexte de représentations parcimonieuses par l'approximation du template sous contraintes de parcimonie. La méthode de prédiction proposée avec les dictionnaires adaptés localement montrent de meilleures performances par rapport aux dictionnaires classiques (tels que la transformée en cosinus discrète (TCD)), et à la méthode du template matching. Le problème de prédiction d'images est ensuite placé dans un cadre d'apprentissage de dictionnaires en adaptant les méthodes traditionnelles d'apprentissage pour la prédiction de l'image. Les observations expérimentales montrent une meilleure performance comparativement à des méthodes de prédiction parcimonieuse et des prédictions intra de type H. 264/AVC. Enfin un cadre neighbor embedding est proposé pour la prédiction de l'image en utilisant deux méthodes de réduction de dimensionnalité: la factorisation de matrice non négative (FMN) et le locally linear embedding (LLE). Ce cadre estensuite étendu au problème d'inpainting d'images. Les évaluations expérimentales démontrent l'efficacité des idées sous-jacentes pour la compression via la prédiction d'images et l'inpainting d'images.