Super résolution de texture pour la reconstruction 3D fine

par Calum Burns

Projet de thèse en Traitement du signal et des images

Sous la direction de Frédéric Champagnat et de Aurélien Plyer.

Thèses en préparation à Paris Saclay , dans le cadre de Sciences et Technologies de l'Information et de la Communication , en partenariat avec ONERA - Traitement de l'information et systèmes (laboratoire) et de université Paris-Sud (établissement de préparation de la thèse) depuis le 01-10-2014 .


  • Résumé

    La numérisation à haute résolution de la géométrie et de la texture d'un environnement 3D à partir d'une séquence d'images intéresse un grand nombre d'applications telle l'inspection d'ouvrage d'art, où on cherche à reconstruire des scènes de l'ordre de la centaine de mètres avec une précision millimétrique. Ces scènes peuvent présenter une géométrie complexe (creux, zones d'occultation . . . ), ainsi le dispositif imageur doit explorer la zone sans difficultés, ce qui élimine l'utilisation d'appareils encombrants tels le LIDAR. Nous étudions le potentiel de numérisation d'un capteur de vision classique, monté sur un micro-drone. Cette reconstruction s'effectuera hors-ligne, sans contrainte d'embarquabilité ou de temps de calcul. La qualité sera jugée en termes de précision géométrique du modèle numérisé et en terme de résolution de la texture que l'on souhaite plus fine que celle des images prises en entrée : c'est l'objectif de la super-résolution (SR). Le principe général de la SR est d'utiliser la variété sub-pixellique des points de vues des images BR pour générer une ou plusieurs images HR. Les méthodes classiques négligent largement les aspects 3D et se résument à fusionner des images sous une hypothèse de constance du flou, de la résolution et de l'éclairement, en gérant les éventuelles variations de ces paramètres par la robustesse des algorithmes. Notre objectif est d'étendre les possibilités de SR au cas où les conditions d'acquisition, l'aspect 3D de notre scène et les variations temporelles invalident les hypothèses de constance sur lesquelles repose la SR classique.

  • Titre traduit

    3D scene super resolution for small drones


  • Résumé

    High quality geometric and texture reconstruction of a 3D environment has many applications, such as inspection of large industrial sites, where the objectif is to reconstruct large scenes with millimetric precision. Such environments tend to have complex geometry ( cavities, occlusions …), hence the sensor needs to be able to freely explore these areas, wich eliminates the use of heavy sensors with tedious acquisition protocols such as LIDAR. Our objectif is to study 3D reconstruction with an imaging sensor mounted on a small drone. This reconstruction will be estimated off-line without any embedding or time performance constraints. The quality will be judged with respect to two criteria : the geometric precision and the texture resolution. Our main idea is to obtain a texture resolution that is higher than that of the input images, thus we aim for texture Super-Resolution (SR). The general principal of SR is to use the sub-pixel variety of a set of low resolution (LR) images to generate one or more high resolution images. Standard methods do not consider 3D aspects and instead assume that the LR images were taken under constant acquisition conditions (ie blur, resolution and ambiant lighting), and handle potential violations of these hypotheses via algorithm robustness. Our objectif is to extend the application domain of SR algorithms to scenarii where these hypotheses are invalidated by the 3D aspect of our scene and temporal variations.