Approches d'intelligence artificielle explicables pour le sous-titrage d'images

Explainable Artificial Intelligence approaches for Image Captioning

• Auteur / Autrice : Sofiane Elguendouze
• Direction : Marcílio De Souto, Adel Hafiane
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/01/2024
• Etablissement(s) : Orléans
• Ecole(s) doctorale(s) : Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique fondamentale d'Orléans (Orléans ; 1987-....)
• Jury : Président / Présidente : Nicolas Maudet
• Jury : Examinateurs / Examinatrices : Nicolas Maudet, Jean-Marie Lagniez, Stéphane Herbin, Anaïs Lefeuvre
• Jury : Rapporteurs / Rapporteuses : Jean-Marie Lagniez, Stéphane Herbin

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage basé sur l'explication

Intelligence artificielle explicable

Innovation

Sous-titrage

Traitement d'images -- Techniques numériques

Informatique -- Recherche

Mots clés libres

Intelligence artificielle explicable

Sous-titrage d'Image

Sous-titrage d'image explicable

Espace de représentation / Espace latent

Caractère décisif

Saillance

Explainable Artificial Intelligence (XAI)

Image Captioning (IC)

Explainable Image Captioning (XIC)

Representation space / Latent space

Decisiveness

Saliency

Résumé

L'évolution rapide des modèles de sous-titrage d'images, impulsée par l'intégration de techniques d'apprentissage profond combinant les modalités image et texte, a conduit à des systèmes de plus en plus complexes. Cependant, ces modèles fonctionnent souvent comme des boîtes noires, incapables de fournir des explications transparentes de leurs décisions. Cette thèse aborde l'explicabilité des systèmes de sous-titrage d'images basés sur des architectures Encodeur-Attention-Décodeur, et ce à travers quatre aspects. Premièrement, elle explore le concept d'espace latent, s'éloignant ainsi des approches traditionnelles basées sur l'espace de représentation originel. Deuxièmement, elle présente la notion de caractère décisif, conduisant à la formulation d'une nouvelle définition pour le concept d'influence/décisivité des composants dans le contexte de sous-titrage d'images explicable, ainsi qu'une approche par perturbation pour la capture du caractère décisif. Le troisième aspect vise à élucider les facteurs influençant la qualité des explications, en mettant l'accent sur la portée des méthodes d'explication. En conséquence, des variantes basées sur l'espace latent de méthodes d'explication bien établies telles que LRP et LIME ont été développées, ainsi que la proposition d'une approche d'évaluation centrée sur l'espace latent, connue sous le nom d'Ablation Latente. Le quatrième aspect de ce travail consiste à examiner ce que nous appelons la saillance et la représentation de certains concepts visuels, tels que la quantité d'objets, à différents niveaux de l'architecture de sous-titrage.

The rapid advancement of image captioning models, driven by the integration of deep learning techniques that combine image and text modalities, has resulted in increasingly complex systems. However, these models often operate as black boxes, lacking the ability to provide transparent explanations for their decisions. This thesis addresses the explainability of image captioning systems based on Encoder-Attention-Decoder architectures, through four aspects. First, it explores the concept of the latent space, marking a departure from traditional approaches relying on the original representation space. Second, it introduces the notion of decisiveness, leading to the formulation of a new definition for the concept of component influence/decisiveness in the context of explainable image captioning, as well as a perturbation-based approach to capturing decisiveness. The third aspect aims to elucidate the factors influencing explanation quality, in particular the scope of explanation methods. Accordingly, latent-based variants of well-established explanation methods such as LRP and LIME have been developed, along with the introduction of a latent-centered evaluation approach called Latent Ablation. The fourth aspect of this work involves investigating what we call saliency and the representation of certain visual concepts, such as object quantity, at different levels of the captioning architecture.