Approches d'IA explicable pour le sous-titrage automatique d'images.

par Sofiane Elguendouze

Projet de thèse en Informatique

Sous la direction de Marcilio Pereira de souto.

Thèses en préparation à Orléans , dans le cadre de Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS , en partenariat avec LIFO - Laboratoire d'Informatique Fondamentale d'Orléans (laboratoire) depuis le 03-12-2020 .


  • Résumé

    Les algorithmes d'Intelligence Artificielle (IA) / Apprentissage Automatique se sont révélés puissants en termes de résultats et de prédictions, mais les modèles générés sont généralement opaques ou manquent de transparence. En d'autres termes, la plupart des modèles produits sont des boîtes noires complexes: leur logique interne et leur fonctionnement sont cachés à l'utilisateur et même aux experts. Cela empêche un humain, expert ou non, de vérifier, d'interpréter et de comprendre le raisonnement du système et la manière dont les décisions sont prises. Dans cette thèse, nous cherchons à aborder des système de sous-titrage automatique d'images, tels que l'imagerie médicale et la gestion de catastrophes naturelles. L'idée est d'étudier le comportement de ce type de systèmes, ses composantes principales, l'importance des unes par rapport aux autres et la robustesse des modèles etc. Nous visons à explorer les techniques d'explication existantes pour les systèmes à base d'IA et de proposer de nouvelles approches d'explication, en particulier pour le domaine du sous-titrage des images. Ceci permettra en l'occurrence d'obtenir de meilleures capacités d'interprétation par l'humain pour ces modèles. L'explicabilité en intelligence artificielle est devenu un concept largement étudié. Dans ce contexte, les défis posés dans cette thèse résident dans le fait qu'à l'heure actuelle, il n y a pas de définition formelle ni de taxonomie standard de méthodes d'explication et d'évaluation de l'explicabilité, notamment pour les systèmes de sous-titrage des images basés sur des modèles de réseaux de neurones profonds. Notre travail permettra alors de proposer et établir un nouvelle approche d'explication qui soit basée sur un cadre théorique validé expérimentalement.

  • Titre traduit

    Explainable AI approaches for automatic image captioning.


  • Résumé

    Artificial Intelligence (AI)/Machine Learning algorithms have been shown to be powerful in terms of results and predictions, however the models generated are generally opaque or lack transparency. In other words, most of the models produced are complex black boxes: their internal logic and functioning are hidden from the user and even from experts. This prevents a human, expert or non-expert, from verifying, interpreting and understanding the reasoning of the system and the way in which decisions are taken. In this thesis, we aim to address automatic image captioning systems, such as medical imaging and natural disaster management. The idea is to study the behavior of this type of system, its main components and their importance compared to each other and the robustness of the models etc. We aim to explore existing explanation techniques for AI-based systems and to propose new explanation approaches, in particular for the domain of image captioning. This will lead to better human interpretability for these models. Explainability in artificial intelligence has become a widely studied concept. In this context, the challenges posed in this thesis lie in the fact that, at present, there is no formal definition or standard taxonomy of methods for explainability and its evaluation, especially for image captioning systems based on deep neural network models. Our work will then allow us to propose and establish a new explanation approach that is based on a theoretical framework that is experimentally validated.