Méthodes plug-and-play convergentes pour la résolution de problèmes inverses en imagerie avec régularisation explicite, profonde et non-convexe

Convergent plug-and-play methods for image inverse problems with explicit and nonconvex deep regularization

• Auteur / Autrice : Samuel Hurault
• Direction : Nicolas Papadakis, Arthur Leclaire
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 27/11/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Bordeaux
• Jury : Président / Présidente : Gabriel Peyré
• Jury : Examinateurs / Examinatrices : Jérôme Bolte, Emilie Chouzenoux
• Jury : Rapporteurs / Rapporteuses : Rémi Gribonval, Pierre Weiss

Mots clés

Mots clés contrôlés

Programmation non convexe

Convergence (mathématiques)

Problèmes inverses

Algorithmes

Mots clés libres

Plug-And-Play

Problème inverse

Débruitage

Convergence

Non-Convexe

Plug-And-Play

Inverse problem

Denoising

Convergence

Nonconvex

Résumé

Les méthodes plug-and-play constituent une classe d'algorithmes itératifs pour la résolution de problèmes inverses en imagerie, où la régularisation est effectuée par un débruiteur de bruit Gaussien. Ces algorithmes donnent de très bonnes performances de restauration, notamment lorsque le débruiteur est paramétré par un réseau de neurones profond. Cependant, l'analyse théorique de la convergence de ces méthodes reste incomplète. La plupart des résultats de convergence existants considèrent des débruiteurs non expansifs, ce qui n'est pas réaliste (ou sous-optimal), ou limitent leur analyse aux termes d'attache aux données fortement convexes. De plus, les algorithmes itératifs plug-and-play ne visent pas à minimiser une fonctionnelle explicite, ce qui peut limiter leur interprétabilité et leur contrôle numérique. Nous distinguons deux types d'algorithmes plug-and-play : les algorithmes RED, qui sont construits en supposant que le débruiteur approche le gradient du logarithme de la distribution des images propres (appelé log prior), et les algorithmes PnP, qui sont construits par approximation de l'opérateur proximal du log prior.Pour ces deux familles d'algorithmes, nous proposons de nouvelles preuves de convergence lorsqu'ils sont utilisés en conjonction avec débruiteur spécifique. Le débruiteur proposé, appelé débruiteur "Gradient-Step", s'écrit comme une étape de descente de gradient sur un potentiel explicite et non convexe paramétré par un réseau de neurones profond. Après l'entraînement, ce potentiel approche une version lissée du log prior. De plus, nous démontrons que ce débruiteur peut également s'écrire comme un opérateur proximal. Nos expériences montrent qu'il est possible d'apprendre un tel débruiteur profond sans compromettre ses performances. En tirant parti des résultats de convergence des algorithmes proximaux pour des problèmes non-convexes, nous démontrons que nos algorithmes RED et PnP sont des processus itératifs convergents vers des points stationnaires de fonctionnelles explicites. Certains des énoncés de convergence proposés impliquent cependant des conditions restrictives sur les paramètres du problème. Nous proposons alors une version relâchée de l'algorithme de descente de gradient proximal qui converge pour une plage de paramètres de régularisation plus large, permettant ainsi une restauration d'image plus précise. Nous appliquons nos algorithmes PnP et RED à divers problèmes inverses mal posés, tels que le défloutage, la super-résolution et l'inpainting. Nos résultats numériques valident les résultats théoriques de convergence et démontrent que nos algorithmes atteignent des performances de pointe, à la fois quantitativement et qualitativement. Les algorithmes RED et PnP ne sont cependant pas applicables pour traiter du bruit de Poisson. Nous proposons alors une généralisation du plug-and-play basé sur l'algorithme de descente de gradient Bregman (BPG). BPG remplace la distance Euclidienne par une divergence de Bregman, qui permet de mieux capturer la régularité sous-jacente d'un problème inverse donné. Nous introduisons un nouveau modèle de bruit, appelé modèle de bruit de Bregman, qui généralise le bruit Gaussien à cette nouvelle géométrie, ainsi que de nouvelles versions "Bregman" des algorithmes RED et PnP. Nos évaluations expérimentales, menées sur des problèmes inverses de Poisson, prouvent l'efficacité de la méthode et valident les résultats théoriques de convergence.

Plug-and-play methods constitute a class of iterative algorithms for imaging inverse problems where regularization is performed by an off-the-shelf Gaussian denoiser. These methods yield impressive visual results, especially when the denoiser is parameterized by a deep neural network. However, the theoretical convergence analysis of plug-and-play methods remains incomplete. Most of the existing convergence results consider nonexpansive denoisers, which is non-realistic (or suboptimal), or limit their analysis to strongly convex data-fidelity terms. Furthermore, plug-and-play iterative algorithms do not aim at minimizing any specific functional, which can limit their interpretability and numerical control. We distinguish between two types of plug-and-play algorithms: RED algorithms, which are constructed by assuming that the denoiser approximates the gradient of the log image prior, and PnP algorithms, which are built by approximation of the proximity operator of the log image prior.For these two families of algorithms, we offer new convergence proofs when they are used in conjunction with a specific denoiser. The proposed denoiser, called Gradient-Step Denoiser, writes as a gradient descent step on an explicit and nonconvex function parameterized by a deep neural network. After training, this potential approximates a smoothed version of the actual log image prior. Additionally, we demonstrate that the Gradient-Step Denoiser can also be expressed as the proximity operator of a related but distinct nonconvex function. Besides, experiments show that it is possible to learn such a deep denoiser while not compromising the performance in comparison to other state-of-the-art denoisers. Leveraging convergence results for first-order optimization algorithms in non-convex settings, we demonstrate that the resulting RED and PnP algorithms are convergent iterative processes targeting stationary points of explicit functionals. Some of these convergence results may assume restrictive conditions on the parameters of the inverse problem. We propose a relaxed version of the Proximal Gradient Algorithm (PGD) algorithm for weakly convex optimization which converges for a wider range of regularization parameters, thus allowing more accurate image restoration. We apply our PnP and RED algorithms to various ill-posed inverse problems, such as deblurring, super-resolution, and inpainting. Our numerical results validate the convergence theory and demonstrate that our algorithms achieve state-of-the-art performance both quantitatively and qualitatively.PnP and RED methods are however not directly applicable for addressing Poisson inverse problems. We propose a generalization of plug-and-play using the Bregman Proximal Gradient (BPG) optimization technique. BPG replaces the Euclidean distance with a Bregman divergence, which better captures the underlying smoothness of the problem. We introduce a novel noise model, called the Bregman noise model, which extends Gaussian noise to the new Bregman geometry as well as new Bregman versions of the RED and PnP algorithms. Our experimental evaluations, conducted on Poisson inverse problems, prove the efficiency of our method and validate the established theoretical convergence results.