Développement de nouvelles techniques de Super résolution de séquences vidéo : Vers une implémentation temps réel sur Smart Caméra

Development of new techniques for super-resolution video sequences : Towards a real-time implementation on Smart Camera

• Auteur / Autrice : Yoan Marin
• Direction : Dominique Ginhac, Johel Miteran
• Type : Thèse de doctorat
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Soutenance le 04/12/2020
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Environnements, Santé (Dijon ; Besançon ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Imagerie et Vision Artificielle (ImVia) (Dijon)
• Partenaire(s) de recherche : Etablissement de préparation : Université de Bourgogne (1970-....)
• Jury : Président / Présidente : Daniel Ménard
• Jury : Examinateurs / Examinatrices : Mohamed Atri, Barthélémy Heyrman, François Berry, Julien Dubois
• Jury : Rapporteurs / Rapporteuses : Frédéric Morain-Nicolier, Mohamed Atri

Mots clés

Mots clés contrôlés

Spectroscopie -- Déconvolution

Infographie

Interpolation (mathématiques)

Mots clés libres

Interpolation

Temps réel

Analyse de texture

Super Résolution

Fpga

Real-Time processing

Super-Resolution

Fpga

Interpolation

Texture analysis

Résumé

Ces travaux de thèse s’inscrivent dans le contexte d’un projet européen visant à créer une caméra très haute résolution 8k. Au sein de ce projet notre équipe a eu la tâche de travailler sur deux aspects technologiques : (1) la création d’un démonstrateur réalisant une déconvolution en temps réel d’un flux vidéo provenant d’une caméra très haute résolution créée par le consortium, (2) la création d’un prototype permettant d’augmenter la résolution et le niveau de détail de flux vidéod’une résolution d’entrée de 4k vers le 8k en utilisant des méthodes de Super Résolution (SR). Ce manuscrit présente principalement les travaux liés à la création du prototype réalisant une méthode de SR. Afin de pouvoir évaluer l’apport qualitatif de la SR, une étude sur la pertinence des métriques est réalisée afin de sélectionner les métriques les plus adaptées à évaluer des traitements d’amélioration de la qualité des images. Ensuite, une nouvelle méthode de SR Spatiale nommée LASSR pour Local Adaptive Spatial Super Resolution a été mise en place pour corriger certains artefacts observés lors de l’implantationd’une méthode de SR de l’état de l’art. Notre méthode permet d’adapter localement le traitement en fonction de la texture, cette adaptation est réalisée automatiquement en utilisant un modèle de décision généré lors d’un apprentissage supervisé.Suite à la validation de notre méthode par un panel d’experts lors d’une évaluation psychovisuelle, le module IP a été développé pour fonctionner avec des volumes de données très importants sur des cibles FPGA et pour fonctionner en temps réel. Uneboite à outils de composants a été créée afin de pouvoir décrire le module de manière générique. Cela permet d’adapter le module LASSR à différentes configurations (taille de l’image, dynamique des pixels . . .). L’élément majeure de cette boîte àoutil est le filtre de convolution 2-D générique : sa taille et ses coefficients sont paramétrables (la puce FPGA peut limiter ce filtre). Des résultats encourageants ont été obtenus concernant l’augmentation de résolution pour une image de sortie 4k enniveaux de gris, il est possible pour un seul module LASSR d’obtenir une fréquence de sortie de 17.03 im/s. Sur le FPGA de la carte de développement VC707 de Xilinx il est théoriquement possible d’atteindre une fréquence de 136.2 im/s en parallélisant8 modules LASSR.

These thesis works are part of an european project aiming to design a very hight resolution (8k) video camera. Within this project our team had the task of working on two technological aspects: (1) the design of a demonstrator carrying out a realtime deconvolution of a video stream coming from a very high resolution camera created by the consortium , (2) the design of a prototype allowing to increase the resolution and the level of detail of video streams from an input resolution of 4k to 8k using Super Resolution (SR) methods. This manuscript mainly presents the work related to the creation of the prototype realizing a Super Resolution method. In order to be able to assess the qualitative contribution of SR, a study on the relevance of the metrics is carried out in order to select the most suitable metrics for evaluating image quality improvement processes. Then, a new method of Spatial SR named LASSR for Local Adaptive Spatial Super Resolution was implemented to correct certain artefacts observed with a State of the Art SR method. Our method allows to locally adapt the processing according the texture, this adaptation is carried out automatically using a decision model generated during supervised learning. Following the validation of our method by a panel of experts during a psychovisual assesment, the IP module was developed to operate with very large volumes of data on FPGA targets and to operate in real time. A toolbox of components has been created in order to describe the module in a generic way. This allows the LASSR module to be adapted to different configurations (image size, pixel dynamics . . .). The major element of this toolbox is the generic 2-D convolution filter : its size and its coecients can be tuned (the FPGA chip limits this filter). Encouraging results have been obtained regarding the increase in resolution for a 4k grayscale output image, it is possible for a single LASSR module to achieve an output frequency of 17.03 fps. On the FPGA of the Xilinx VC707 development board, it is theoretically possible to reach a frequency of 136.2 fps by parallelizing 8 LASSR modules.