Super résolution multi-échelle d'images 3D en sciences des matériaux

par Dang phuong lan Nguyen

Projet de thèse en Mathématiques appliquées et calcul scientifique

Sous la direction de Jean-François Aujol, Yannick Berthoumieu et de Dominique Bernard.

Thèses en préparation à Bordeaux , dans le cadre de École doctorale de mathématiques et informatique , en partenariat avec IMB - Institut de Mathématiques de Bordeaux (laboratoire) et de Image Optimisation et Probabilités (equipe de recherche) depuis le 25-07-2019 .


  • Résumé

    Les développements récents en imagerie ont profondément modifié les approches en sciences des matériaux. C'est la raison pour laquelle on cherche à développer de nouvelles approches de Super-Résolution (SR). L'imagerie 3D est passé de l'échelle microscopique à l'échelle nanoscopique, ce qui a permis de passer d'une analyse statistique (moyennes, . . .) à une analyse prenant en compte les variations de ces moyennes, les défauts et les interfaces dans les propriétés finales des matériaux. L'étude de ces matériaux pose un véritable défi car les méthodes d'imagerie multi-modales produisent souvent des images haute-résolution (HR) et basse-résolution (LR) avec des caractéristiques différentes. Il n'est pas possible de considérer ce problème général dans toute sa complexité, et on adapotera ici une approche incrémentale. Il existe de très nombreuses applications concrètes de la super-résolution (SR). La litérature sur le sujet est très vaste et on pourra se référer à [3] pour une étude complète des méthodes développés jusqu'en 2014. On note p(x,t) la pdf (densité de probabilité) d'un patch x de paramètre t. En général, le modèle d'observation est le suivant : y = f(x) + b. On se limite au cas de modèles linéaires de type : y = HSx + b, où y est la donnée observée, x la quantité à reconstruire, H un opérateur de flou, et S un opérateur de sous-échantillonage. La modélisation statistique pour un patch devient p(x|y; t; σId) avec un bruit Gaussien iid de moyenne nulle. En utilisant un mixtures de gaussiennes généralisés (GMM) global, G. Yu, G. Sapiro, et S. Mallat ont proposé une approche bayesienne basée patch. Pour le problème SR, G. Yu, G. Sapiro, et S. Mallat ont étendu la modélisation précédente, i.e. GMM, pour de la modélisation HR-LR jointe. Plusieurs travaux ont montré la possibilité de considérer des modèles de pdf plus flexibles pour s'adapter à la forme de la donnée, et moins sensibles au problème d'over-fitting. En effet, les modèles de mixtures de gaussiennes généralisés (GMM), qui généralisent les distributions gaussiennes et laplaciennes, sont potentiellement intéressantes pour la modélisation des propriétés statistiques de nombreuses images. Le premier objectif de cette thèse est d'étendre les travaux précédents au cas GGMM. Le deuxième objectif de cette thèse est d'utiliser GMM et / ou GGMM sur d'autres représentations de l'image, telles que la sortie de certains réseaux de neurones.

  • Titre traduit

    Superresolution of multiscale 3D images from material sciences


  • Résumé

    Recent and ongoing developments in imaging techniques and computational analysis deeply modify the way materials science and engineering consider their objects of research. The motivation to develop new Super-resolution (SR) methods originates in these modifications. 3D imaging has moved from micron-scale resolution to true nano-scale regime allowing the passage from statistical analysis based on averages to analysis of the modulations of the averages, the defects and details at the interfaces as important and defining characteristics for performances. Studying such material is very challenging because multi-modal imaging techniques are often required producing high-resolution (HR) and low-resolution (LR) images having different characteristics. Addressing this problem directly in all its complexity is unrealistic and a step by step approach will be adopted. Super-resolution (SR), the process of obtaining one or more HR images from one or more LR observation(s) has found applications in many real-world problems. Over the past two decades a large number of research papers and books addressing specific practical purposes have been written. We denote by p(x; t) the pdf (probability density function) of a patch x with parameter t. In general, the observation model is the following: y = f(x) + b. We restrict ourselves to linear models of the type: y = HSx+b, where y is the observed data, x the quantity to reconstruct, b some additive noise, H a blurring operator, and S a sub-sampling operator. For various inverse problems including image denoising or restoration techniques, stochastic modeling for patch characterization has been recently studied. Using a global Gaussian mixture modeling (GMM), G. Yu, G. Sapiro, and S. Mallat proposed a patch-based Bayesian approach. For the SR problem, G. Yu, G. Sapiro, and S. Mallat extend the previous modeling, i.e. GMM, for joint HR-LR modeling given the opportunity to compute an optimal estimator based on the conditional expectation. Various works have shown the possibility to consider pdf models which have more flexibility to adapt the shape of data and less sensibility for over-fitting the number of classes than the GMM. Indeed, including Gaussian and Laplacian distributions as special cases, generalized Gaussian mixture modeling (GGMM) are potentially interesting for modeling the statistical properties of various images or features extracted from these images. The first goal of this PhD thesis is to extend the previous works to the GGMM case. We intend to capture the HR statistics from the LR image in a more appropriate way by using this richer modeling. The second goal of this PhD thesis is to use GMM and/or GGMM on other representations of the image such as the output of some neural networks.