Apprentissage profond pour acquisition et restauration de champs de lumière

Deep learning for light field acquisition and restoration

• Auteur / Autrice : Brandon Le Bon
• Direction : Christine Guillemot
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, vision
• Date : Soutenance le 29/11/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique)
• Jury : Président / Présidente : Franck Multon
• Jury : Examinateurs / Examinatrices : Ioan Tăbuş, Mikaël Le Pendu
• Jury : Rapporteurs / Rapporteuses : Frédéric Dufaux, Marten Sjöström

Mots clés

Mots clés contrôlés

Reconstruction d'image

Apprentissage profond

Problèmes inverses

Mots clés libres

Problème inverse

Champs de lumière

Apprentissage profond

Algorithmes déroulés

Restauration d'images

Inverse problem

Light fields

Deep learning

Unrolled algorithms

Image reconstruction

Résumé

L'acquisition d'une image est restreinte par les limitations du matériel d'acquisition et est soumise à des perturbations. La reconstruction d'images à partir de mesures dégradées est un problème inverse, souvent mal conditionné et demandant donc la présence d'une connaissance à priori sur les images à reconstruire. Les algorithmes déroulés ont prouvé leur efficacité en matière de résolution de problèmes inverses, mais leur coût en mémoire et en temps de calcul est très élevé. Notre première contribution est une méthode d'entraînement pour les algorithmes déroulés, permettant de considérablement réduire les coûts et les contraintes liées à l'entraînement de ces méthodes. Nous nous intéressons ensuite plus particulièrement aux problèmes inverses liés à l'acquisition et à la reconstruction de champs de lumière. Ceux-ci permettent d'obtenir l'information 3D cruciale pour une variété de tâches en imagerie, qui est perdue lors de l'acquisition d'une image avec une caméra traditionnelle. Un champ de lumière est généralement capturé via des appareils coûteux et non accessibles au grand public. Notre deuxième contribution est une méthode basée sur les algorithmes d'optimisation déroulés, permettant de reconstruire un champ de lumière à partir d'un empilement de mises au point, contenant peu d'images capturées avec une caméra traditionnelle.

The acquisition of an image is restricted by the limitations of the acquisition device and subject to perturbations. Image reconstruction from degraded measurements is an inverse problem, usually ill-conditioned, hence requiring the presence of an image prior. Unrolled optimization algorithms have achieved state-of-the-art results for a variety of image reconstruction tasks, but suffer from a high computational burden. Our first contribution is a training method for unrolled optimization algorithms which considerably reduces the computational burden and constraints of the training. We then focus on inverse problems related to the acquisition and restoration of light fields. This representation of scenes contains the 3D information that is crucial for a variety of image processing tasks and that is generally lost in the acquisition of an image with a traditional camera. Light fields are generally captured with complex devices that are not accessible to the general public. Our second contribution is a method, based on the unrolled algorithms, which reconstructs light fields from a focal stack containing very few images captured with a traditional camera.