Restoration super-resolution of image sequences : application to TV archive documents

par Feriel Abboud

Thèse de doctorat en Signal, Image, Automatique

Sous la direction de Jean-Christophe Pesquet.

Soutenue le 15-12-2017

à Paris Est , dans le cadre de École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....) , en partenariat avec Laboratoire d'informatique de l'Institut Gaspard Monge (laboratoire) et de Laboratoire d'ImmunoGénétique Moléculaire (LIGM) (laboratoire) .

Le président du jury était Nikos Paragios.

Le jury était composé de Jean-Christophe Pesquet, Ewa Bednarczuk, Emilie Chouzenoux, Jean-Hugues Chenot, Laurent Najman.

Les rapporteurs étaient Yves Wiaux, Valeria Ruggiero.

  • Titre traduit

    Restauration super-résolution de séquences d'images : applications aux documents d'archives TV


  • Résumé

    Au cours du dernier siècle, le volume de vidéos stockées chez des organismes tel que l'Institut National de l'Audiovisuel a connu un grand accroissement. Ces organismes ont pour mission de préserver et de promouvoir ces contenus, car, au-delà de leur importance culturelle, ces derniers ont une vraie valeur commerciale grâce à leur exploitation par divers médias. Cependant, la qualité visuelle des vidéos est souvent moindre comparée à celles acquises par les récents modèles de caméras. Ainsi, le but de cette thèse est de développer de nouvelles méthodes de restauration de séquences vidéo provenant des archives de télévision française, grâce à de récentes techniques d'optimisation. La plupart des problèmes de restauration peuvent être résolus en les formulant comme des problèmes d'optimisation, qui font intervenir plusieurs fonctions convexes mais non-nécessairement différentiables. Pour ce type de problèmes, on a souvent recourt à un outil efficace appelé opérateur proximal. Le calcul de l'opérateur proximal d'une fonction se fait de façon explicite quand cette dernière est simple. Par contre, quand elle est plus complexe ou fait intervenir des opérateurs linéaires, le calcul de l'opérateur proximal devient plus compliqué et se fait généralement à l'aide d'algorithmes itératifs. Une première contribution de cette thèse consiste à calculer l'opérateur proximal d'une somme de plusieurs fonctions convexes composées avec des opérateurs linéaires. Nous proposons un nouvel algorithme d'optimisation de type primal-dual, que nous avons nommé Algorithme Explicite-Implicite Dual par Blocs. L'algorithme proposé permet de ne mettre à jour qu'un sous-ensemble de blocs choisi selon une règle déterministe acyclique. Des résultats de convergence ont été établis pour les deux suites primales et duales de notre algorithme. Nous avons appliqué notre algorithme au problème de déconvolution et désentrelacement de séquences vidéo. Pour cela, nous avons modélisé notre problème sous la forme d'un problème d'optimisation dont la solution est obtenue à l'aide de l'algorithme explicite-implicite dual par blocs. Dans la deuxième partie de cette thèse, nous nous sommes intéressés au développement d'une version asynchrone de notre l'algorithme explicite-implicite dual par blocs. Dans cette nouvelle extension, chaque fonction est considérée comme locale et rattachée à une unité de calcul. Ces unités de calcul traitent les fonctions de façon indépendante les unes des autres. Afin d'obtenir une solution de consensus, il est nécessaire d'établir une stratégie de communication efficace. Un point crucial dans le développement d'un tel algorithme est le choix de la fréquence et du volume de données à échanger entre les unités de calcul, dans le but de préserver de bonnes performances d'accélération. Nous avons évalué numériquement notre algorithme distribué sur un problème de débruitage de séquences vidéo. Les images composant la vidéo sont partitionnées de façon équitable, puis chaque processeur exécute une instance de l'algorithme de façon asynchrone et communique avec les processeurs voisins. Finalement, nous nous sommes intéressés au problème de déconvolution aveugle, qui vise à estimer le noyau de convolution et la séquence originale à partir de la séquence dégradée observée. Nous avons proposé une nouvelle méthode basée sur la formulation d'un problème non-convexe, résolu par un algorithme itératif qui alterne entre l'estimation de la séquence originale et l'identification du noyau. Notre méthode a la particularité de pouvoir intégrer divers types de fonctions de régularisations avec des propriétés mathématiques différentes. Nous avons réalisé des simulations sur des séquences synthétiques et réelles, avec différents noyaux de convolution. La flexibilité de notre approche nous a permis de réaliser des comparaisons entre plusieurs fonctions de régularisation convexes et non-convexes, en terme de qualité d'estimation


  • Résumé

    The last century has witnessed an explosion in the amount of video data stored with holders such as the National Audiovisual Institute whose mission is to preserve and promote the content of French broadcast programs. The cultural impact of these records, their value is increased due to commercial reexploitation through recent visual media. However, the perceived quality of the old data fails to satisfy the current public demand. The purpose of this thesis is to propose new methods for restoring video sequences supplied from television archive documents, using modern optimization techniques with proven convergence properties. In a large number of restoration issues, the underlying optimization problem is made up with several functions which might be convex and non-necessarily smooth. In such instance, the proximity operator, a fundamental concept in convex analysis, appears as the most appropriate tool. These functions may also involve arbitrary linear operators that need to be inverted in a number of optimization algorithms. In this spirit, we developed a new primal-dual algorithm for computing non-explicit proximity operators based on forward-backward iterations. The proposed algorithm is accelerated thanks to the introduction of a preconditioning strategy and a block-coordinate approach in which at each iteration, only a "block" of data is selected and processed according to a quasi-cyclic rule. This approach is well suited to large-scale problems since it reduces the memory requirements and accelerates the convergence speed, as illustrated by some experiments in deconvolution and deinterlacing of video sequences. Afterwards, a close attention is paid to the study of distributed algorithms on both theoretical and practical viewpoints. We proposed an asynchronous extension of the dual forward-backward algorithm, that can be efficiently implemented on a multi-cores architecture. In our distributed scheme, the primal and dual variables are considered as private and spread over multiple computing units, that operate independently one from another. Nevertheless, communication between these units following a predefined strategy is required in order to ensure the convergence toward a consensus solution. We also address in this thesis the problem of blind video deconvolution that consists in inferring from an input degraded video sequence, both the blur filter and a sharp video sequence. Hence, a solution can be reached by resorting to nonconvex optimization methods that estimate alternatively the unknown video and the unknown kernel. In this context, we proposed a new blind deconvolution method that allows us to implement numerous convex and nonconvex regularization strategies, which are widely employed in signal and image processing


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Communautés d’Universités et d'Etablissements Université Paris-Est. Bibliothèque universitaire.
  • Bibliothèque : École des Ponts ParisTech (Marne-la-Vallée, Seine-et-Marne). Bibliothèque électronique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.