Constance multispectrale pour l'obtention de représentations d'images multispectrales invariantes en fonction de l'éclairage

Multispectral constancy for illuminant invariant representation of multispectral images

• Auteur / Autrice : Haris Ahmad Khan
• Direction : Olivier Laligant, Jean-Baptiste Thomas, Jon Yngve Hardeberg
• Type : Thèse de doctorat
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Soutenance le 09/10/2018
• Etablissement(s) : Bourgogne Franche-Comté en cotutelle avec Norwegian University of Science and Technology (Trondheim, Norvège)
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Electronique, Informatique et Image (LE2i) (Dijon, Côte d'Or ; Auxerre, Yonne ; Chalon-sur-Saône, Saône-et-Loire ; Le Creusot, Saône-et-Loire ; 1996-2018)
• Jury : Président / Présidente : Nathalie Destouches
• Jury : Examinateurs / Examinatrices : Ali Alsam
• Jury : Rapporteurs / Rapporteuses : Markku Hauta-Kasari, Theo Gevers

Mots clés

Mots clés contrôlés

Vision par ordinateur

Traitement d'images -- Techniques numériques

Imagerie multispectrale

Mots clés libres

Multispectrales

Estimation illuminant

Spectral

Constance multispectrale

Illuminant invariant

Multispectral

Illuminant estimation

Spectral

Multispectral constancy

Illuminant invariant

Résumé

En imagerie couleur, un système d’acquisition capture une scène avec une haute résolution spatiale mais une résolution spectrale limitée. L’imagerie hyperspectrale permet d’acquérir la scène avec une grande résolution spectrale. Un système d’acquisition hyperspectrale est un ensemble complexe et il est difficile de l’utiliser pour acquérir des données dans une situation où les conditions d’imageries ne sont pas contrôlées. De plus, ces systèmes sont chers et souvent encombrants ou difficiles à manipuler. À cause de ces problèmes, l’utilisation de l’imagerie hyperspectrale n’a pas encore été beaucoup utilisée en vision assistée par ordinateur, et la plupart des systèmes de vision utilise l’imagerie couleur.L’imagerie multispectrale propose une solution intermédiaire, elle permet de capturer une information moins résolue selon la dimension spectrale, comparée à l’hyperspectrale, tout en préservant la résolution spatiale. Ces systèmes sont moins encombrants et moins difficiles à maitriser grâce aux récentes avancées technologiques, et arrivent sur le marché en tant que produits commerciaux. On peut citer les matrices de filtres spectraux (spectral filter arrays) qui permettent l’acquisition en temps réel d’images multispectrales grâce à l’utilisation d’unecaméra de complexité similaire à une caméra couleur. Jusqu’ici, les informations capturées par ces systèmes étaient considérées de la même manière que les imageurs hyperspectraux en champ proche, c’est à dire que pour utiliser l’information au mieux, les conditions d’acquisitions devaient être connues et le système calibré, en particulier pour l’éclairage de la scène et la dynamique de la scène.Afin d’élargir l’utilisation de l’imagerie multispectrale pour la vision par ordinateur dans des conditions générales, je propose dans cette thèse de développer les méthodes calculatoires en imagerie couleur (computational color imaging) et de les adapter aux systèmes d’imagerie multispectraux. Une caractéristique très puissante de l’imagerie couleur est de proposer un rendu constant des couleurs de la surface d’un objet à travers différentes conditions d’acquisition via l’utilisation d’algorithmes et divers traitements de l’information.Dans cette thèse, j’étends la notion de constance des couleurs et de balance des blancs de l’imagerie couleur à l’imagerie multispectrale. J’introduis le terme de constance de l’information spectrale (multispectral constancy).Je propose la construction d’un ensemble d’outils permettant la représentation constante de l’information spectrale à travers le changement d’éclairage. La validité de ces outils est évaluée à travers la reconstruction de la réflectance spectrale des objets lorsque l’éclairage change. Nous avons également acquis de nouvelles images hyperspectrales et multispectrales mises à disposition de la communauté.Ces outils et données permettront de favoriser la généralisation de l’utilisation de l’imagerie multispectrale en champ proche dans les applications classiques utilisant traditionnellement l’imagerie couleur et de sortir ce mode d’imagerie des laboratoires. L’avantage en vision par ordinateur est une meilleure analyse de la réflectance de la surface des objets et donc un avantage certain dans les tâches de classification et d’identification de matériaux.

A conventional color imaging system provides high resolution spatial information and low resolution spectral data. In contrast, a multispectral imaging system is able to provide both the spectral and spatial information of a scene in high resolution. A multispectral imaging system is complex and it is not easy to use it as a hand held device for acquisition of data in uncontrolled conditions. The use of multispectral imaging for computer vision applications has started recently but is not very efficient due to these limitations. Therefore, most of the computer vision systems still rely on traditional color imaging and the potential of multispectral imaging for these applications has yet to be explored.With the advancement in sensor technology, hand held multispectral imaging systems are coming in market. One such example is the snapshot multispectral filter array camera. So far, data acquisition from multispectral imaging systems require specific imaging conditions and their use is limited to a few applications including remote sensing and indoor systems. Knowledge of scene illumination during multispectral image acquisition is one of the important conditions. In color imaging, computational color constancy deals with this condition while the lack of such a framework for multispectral imaging is one of the major limitation in enabling the use of multispectral cameras in uncontrolled imaging environments.In this work, we extend some methods of computational color imaging and apply them to the multispectral imaging systems. A major advantage of color imaging is the ability of providing consistent color of objects and surfaces across varying imaging conditions. In this work, we extend the concept of color constancy and white balancing from color to multispectral images, and introduce the term multispectral constancy.The validity of proposed framework for consistent representation of multispectral images is demonstrated through spectral reconstruction of material surfaces from the acquired images. We have also presented a new hyperspectral reflectance images dataset in this work. The framework of multispectral constancy will make it one step closer for the use of multispectral imaging in computer vision applications, where the spectral information, as well as the spatial information of a surface will be able to provide distinctive useful features for material identification and classification tasks.