Fusion de données hyperspectrales et panchromatique étendue au domaine infrarouge thermique

par Yohann Constans

Projet de thèse en Physique

Sous la direction de Xavier Briottet et de Yannick Deville.

Thèses en préparation à Toulouse, ISAE , dans le cadre de École doctorale Aéronautique-Astronautique (Toulouse) , en partenariat avec ISAE-ONERA OLIMPES Optronique, Laser, Imagerie Physique et Environnement Spatial (laboratoire) depuis le 01-10-2018 .


  • Résumé

    La télédétection est un outil adapté pour l'observation de la terre aux échelles globale et locale. A l'échelle locale (résolution spatiale de l'ordre du mètre), de nombreuses applications nécessitent à la fois une haute résolution spatiale, afin de disposer d'une description précise de la géométrie de la scène observée, et une haute résolution spectrale permettant ainsi d'extraire des informations sur son état et sa composition. Cependant, les capteurs sont souvent limités car ils ne peuvent offrir simultanément des résolutions spatiale et spectrale optimales. Une solution consiste à utiliser des images acquises simultanément par une caméra large bande ou panchromatique donnant accès à la haute résolution spatiale et une caméra hyperspectrale ayant une haute résolution spectrale mais avec une moins bonne résolution spatiale. La fusion des images hyperspectrale et panchromatique, appelée aussi Pan sharpening, permet alors d'exploiter les complémentarités de ces deux types d'images au niveau du pixel pour générer une image hyperspectrale à haute résolution spatiale afin de générer par exemple des cartes d'occupation des sols avec une meilleure fiabilité et une plus grande précision. La plupart des méthodes de fusion de la littérature sont appliquées sur des données hyperspectrales et panchromatique de résolution spatiale décamétrique avec des rapports de résolution spatiale souvent limité à une facteur 4. De plus, ces méthodes sont appliquées sur des images hyperspectrales couvrant le domaine visible et proche infrarouge (0.4-1.0 µm) ou marginalement au domaine réflectif (0.4-2.5 µm). Récemment, les grandes classes de méthodes de fusion ont été comparées dans le domaine 0.4-2.5 µm et ont permis de mettre en évidence leurs principales limitations: distorsions radiométriques de l'image fusionnée dans le domaine 1.0-2.5 µm, erreur induite en présence d'un paysage de forte variabilité spatiale (on parlera de pixel mixte) et en particulier en présence d'un éclairement non uniforme (zones au soleil ou à l'ombre). Aussi, la méthode SOSU a été développée dans le cadre d'une thèse ONERA-GIPSA-DGA pour améliorer l'information spatiale de l'image hyperspectrale notamment dans les zones de transition et pour les objets de la scène de dimensions réduites. Cette dernière est basée sur une étape de pré-traitement de démélange spectral. Cette méthode a montré des améliorations par rapport aux autres méthodes de la littérature mais nécessite des évolutions pour des milieux plus complexes tels que les milieux urbains où les ombres ont un impact important sur la qualité du démélange. Enfin, l'arrivée de nouveaux systèmes aéroportés couvrant l'ensemble du domaine optique (0.4 à 12 µm) et le potentiel du domaine infrarouge par exemples pour la classification de matériaux ou la reconnaissance de cible conduisent à étendre ces méthodes de fusion à l'ensemble du domaine optique. L'objectif de cette thèse est de proposer et de valider une nouvelle méthode de fusion d'images panchromatique et hyperspectrale étendue à l'ensemble du domaine optique (0.4-12µm) et prenant en compte les pixels mixtes et la présence d'ombre. Les principales étapes identifiées dans cette thèse sont : - Amélioration de la méthode SOSU - Prise en main de l'outil SOSU - Amélioration de la détection des pixels purs et mixtes : plusieurs méthodes d'extraction de composantes (endmembers) seront testées afin de définir la ou les méthodes les plus adaptées suivant le type de paysage observé et les résolutions spatiales des données à fusionner ; - Prise en compte des ombres : les pixels contenant de l'ombre devront être détectés puis démélangés de manière optimale ; - Evaluation des performances de la méthode développée sur des images acquises à l'ONERA (caméra hyperspectrale HYSPEX à 1,7 m et caméra panchromatique CamV2 à 14cm) et simulées pour des rapports de résolution spatiale de 4 à 10 ; - Adaptation de la méthode pour l'ensemble du domaine optique : évolution de la méthode développée pour le domaine réflectif et évaluation des performances sur des images acquises par les systèmes hyperspectraux aéroportés AHS et Sysiphe.

  • Titre traduit

    Fusion of hyperspectral and panchromatic data, extension to the thermal infrared range


  • Résumé

    In the context of Earth observation, lots of applications need both good spatial and spectral resolutions, in order to provide both geometrical and physical information of the scene. However, sensors cannot offer alltogether such characteristics. A solution consists in combining images simultaneously acquired by a panchromatic camera (to get high spatial resolution) and a hyperspectral camera (to get high spectral resolution) with lower spatial resolution than the panchromatic one (generaly 4 times lower). Fusing hyperspectral and panchromatic images, at the pixel level, in order to exploit the complementarity of these two acquisition methods, is called Pan Sharpening. Nevertheless, nowadays fusing methods reach some limits, like spatial resolutions ratios limited to a 4 factor, hyperspectral images restricted to visible and near infra-red ranges (0.4-1.0 µm) – and rarely to the reflective range (0.4-2.5 µm), but also artefacts introducted by the sensors themselves. In order to overcome these constraints and have an estimate of the performances of such a method, a number of issues must be faced : radiometric distorsions of the fused image in the 0.4-2.5 µm range, mixed pixels in the case of high spatial variability, errors due to a non-uniform irradiance, etc. In this context, the SOSU method has been implemented to improve spatial information of the hyperspectral image, mostly in the transition zones (mixed pixels) and for small objects of the scene. It is based on a pre-processing step of spectral unmixing. It showed better results than the conventional methods but still needs improvement for more complex environment, like urban zones (shadowed areas). On the other hand, new airborne equipment are now capable of covering the whole optical range (0.4-12 µm). They enable a complete use of all the infra-red potential (classification, target recognition,...), and force fusing methods to be extended to the entire optical range. Hence, the goal of this thesis is to provide a new fusing method for panchromatic and hyperspectral images, extended to the whole optical range, and taking into account the processing of mixed pixels and shadowed areas.