Vision par ordinateur et apprentissage profond appliqués à la reconnaissance faciale dans le spectre invisible

Computer vision and deep learning applied to face recognition in the invisible spectrum

• Auteur / Autrice : David Anghelone
• Direction : Antitza Dantcheva
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 29/06/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes) - Thales (Firme)
• Jury : Président / Présidente : Jean-Luc Dugelay
• Jury : Examinateurs / Examinatrices : Antitza Dantcheva, Jean-Luc Dugelay, Christian Rathgeb, Anil K. Jain, Touradj Ebrahimi, Marco Lorenzi, Sandra Cremer, Sarah Lannes
• Jury : Rapporteurs / Rapporteuses : Jean-Luc Dugelay, Christian Rathgeb

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Biométrie

Intelligence artificielle

Vision par ordinateur

Apprentissage profond

Mots clés libres

Apprentissage profond

Vision par ordinateur

Intelligence artificielle

Biométrie

Reconnaissance faciale

Sécurité

Deep learning

Computer vision

Artificial intelligence

Biometrics

Face recognition

Security

Résumé

La reconnaissance faciale cross-spectrale consiste à identifier des individus à partir d'images faciales provenant de différents spectres électromagnétiques, tels que l'infrarouge et le visible. Bien que cette application soit intrinsèquement plus difficile que la reconnaissance faciale classique, notamment en raison de la variation significative de l'apparence faciale causée par l'écart de modalité, elle est utile dans de nombreux scénarios impliquant la biométrie en vision nocturne ou la détection d'attaques par "présentation" des systèmes biométriques.Le but de cette thèse a été de développer un système de reconnaissance faciale thermique-visible, qui intègre de nouveaux algorithmes pour (a) la détection de visage thermique, ainsi que (b) la traduction d'image thermique en image visible, simplifiant le problème causé par l'écart de modalité pour la reconnaissance faciale cross-spectrale. Ainsi, tout algorithme peut être utilisé pour cette ultime étape de reconnaissance, un fait assuré par la plateforme de reconnaissance faciale FRP de Thales.Pour atteindre cet objectif, nous présentons les contributions suivantes :Tout d'abord, nous avons collecté une base de données comprenant des images faciales multispectrales capturées simultanément sous quatre spectres électromagnétiques. La base de données fournit des ressources essentielles, riches et variées, qui sont appropriées pour reproduire des scénarios pratiques de fonctionnement d'un système biométrique cross-spectral.Deuxièmement, nous avons conçu TFLD, un algorithme de prétraitement dans la chaîne du système, qui consiste à détecter les visages et les points de repère faciaux dans le spectre thermique. TFLD est robuste à des conditions réalistes telles que la pose, l'expression, l'occlusion, la mauvaise qualité d'image et la distance à longue portée. L'alignement facial résultant du prétraitement de TFLD a contribué de manière significative à l'amélioration des performances de reconnaissance faciale.La troisième contribution portait sur la traduction de spectres, visant à réduire l'écart de modalité entre le spectre visible et thermique pour la tâche de reconnaissance faciale. Nous avons présenté un nouveau modèle génératif guidé par l'espace latent, nommé LG-GAN, qui traduit un spectre (par exemple, thermique) en un autre (visible), tout en préservant l'identité d'un visage lors de la traduction. L'objectif de LG-GAN était lié à l'explicabilité, à savoir fournir un aperçu des caractéristiques biométriques pertinentes et discriminatoires à travers les spectres, qui a été poursuivi par l'élaboration d'un modèle génératif supplémentaire guidé par l'attention (AG-GAN). Enfin, pour répondre au défi de la reconnaissance faciale multi-résolution provenant de distances d'acquisition variables, nous avons proposé ANYRES. Ce modèle unique accepte toutes les résolutions d'images thermiques de visage et les convertit en images visibles synthétiques à haute résolution. De plus, nous avons étendu les capacités de ANYRES en mettant l'accent sur la reconnaissance faciale en environnement non contraint, considerant ainsi les variations de pose faciale.

Cross-spectral face recognition (CFR) refers to recognizing individuals using face images stemming from different spectral bands, such as infrared vs. visible. While CFR is inherently more challenging than classical face recognition due to significant variation in facial appearance caused by the modality gap, it is useful in many scenarios including night-vision biometrics and detecting presentation attacks.The aim of this thesis has been to develop an end-to-end thermal-to-visible face recognition system, which integrates new algorithms for (a) thermal face detection, as well as (b) thermal-to-visible spectrum translation, streamlined to bridge the modality gap. We note that any off-the-shelf facial recognition algorithm can be used for recognition, a fact ensured by the facial recognition platform (FRP) of Thales.Towards the above goal, we present following contributions.Firstly, we collected a database comprising of multi-spectral face images captured simultaneously under four electromagnetic spectra. The database provides essential, rich and varied resources well-suited to replicate practical scenario of real-life operation for a cross-spectral biometrics system.Secondly, we proposed a pre-processing algorithm, streamlined to detect face and facial landmarks (TFLD) in the thermal spectrum. We designed the algorithm to be robust to adversarial conditions such as pose, expression, occlusion, poor image quality, long-range distance and related face alignment contributed significantly to improving face recognition scores.The third contribution had to do with spectrum translation, aimed at reducing the modality gap of visible and thermal spectrum w.r.t. face recognition. We presented a novel model, Latent-Guided Generative Adversarial Network (LG-GAN), which translates one spectrum (e.g., thermal) to another (visible), while preserving the identity across different spectral bands. The main focus of LG-GAN related to explainability, namely providing insight in pertinent salient features, discriminative across spectra, has additionally been pursued by an additional model, namely the Attention-Guided Generative Network (AG-GAN).Finally, tackling the challenge of multi-scale face recognition stemming from varying acquisition distance, we proposed an algorithm, ANYRES, which accepts any resolution of thermal face images, proceeding to translate such into synthetic high-resolution visible images. We extended ANYRES to settings encountering users experiencing (extreme) facial poses, placing emphasis on thermal-to-visible face recognition in unconstrained environments.