Algorithmes et métriques d'évaluation pour la confiance dans les systèmes utilisant l'apprentissage machine : application à la reconnaissance visuelle d'objets

Algorithms and evaluation metrics for improving trust in machine learning: application to visual object recognition

• Auteur / Autrice : Romain Xu
• Direction : Georges Quenot, Marie-Christine Rousset
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 29/11/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble
• Jury : Président / Présidente : Massih-reza Amini
• Jury : Examinateurs / Examinatrices : Georges Quenot, Sara Colantonio, Celine Hudelot
• Jury : Rapporteurs / Rapporteuses : Sara Colantonio, Celine Hudelot

Mots clés

Mots clés libres

IA explicable

Reconnaissance visuelle

Apprentissage profond

Explainable AI

Visual recognition

Deep learning

Résumé

L’intégration des algorithmes décisionnaires utilisant des réseaux de neurones dits « profonds » dans des applications à haut risques - tels que la santé ou l'automobile - dépend de leur capacité à susciter la confiance de l’utilisateur en leur décision, un enjeu majeur au centre de cette thèse. Plus précisement, ce travail porte sur trois propriétés qui conditionnent la confiance dans les modèles issus de l’apprentissage machine : la performance du modèle - sa capacité à accomplir la tâche demandée ; sa capacité à évaluer le niveau d’incertitude de sa décision ; et enfin son explicabilité, qui caractérise le niveau d’interaction possible entre l’utilisateur et le modèle en vue d’obtenir des informations concernant son fonctionnement. Cette explicabilité est soit inhérente au modèle (modèle dit « explicable par construction »), ou bien le fruit de méthodes d’explications a posteriori - qui tentent d’expliquer le comportement d’un modèle préexistant. Dans le contexte d’applications de vision par ordinateur, les modèles explicables par construction cherchent tout d’abord à extraire une représentation intermédiaire de l’image, composée de variables sémantiques, puis bâtissent leur décision sur la base de ces variables selon un processus transparent pour l’utilisateur. Notre thèse démontre cependant certaines limites dans les représentations intermédiaires des modèles de l’état de l’art. Par conséquent, dans le but d’améliorer la qualité de cette représentation intermédiaire, notre première contribution porte sur la proposition d’un nouvel algorithme - appelé PARTICUL - pour la détection non supervisée de parties d’objets dans un ensemble d’images. Cet algorithme est enrichi d’une mesure d’incertitude qui sert également à inférer la visibilité de chaque partie. Enfin, l’explicabilité d’un modèle dépend également de la qualité de la méthode d’explication choisie, qualité qui est évaluée - à l’aide de métriques dédiées - selon plusieurs critères couvrant à la fois le fond et la forme de l’explication. Notre thèse démontre non seulement que certaines métriques existantes n’évaluent qu’imparfaitement le critère auquel elles sont associées - métriques pour lesquelles nous proposons des alternatives - mais également que dans le cas d’un modèle complexe, ces critères correspondent en réalité à des attentes contradictoires de la part de l’utilisateur, de sorte qu’aucune méthode ne peut satisfaire simultanément à tous ces critères et est, de fait, le résultat d’un compromis. Ce constat nous pousse ainsi à réaffirmer l’importance primordiale de l’exactitude de l’information avant tout, afin que l’utilisateur puisse prendre une décision éclairée lorsqu’il choisit ou non d’accorder sa confiance au modèle.

The integration of decision-making algorithms based on deep neural networks in critical applications - such as healthcare or automotive - depends on their ability to elicit trust in their decision, a major issue that is at the heart of this thesis. More precisely, our work focuses on three prerequisites to trust in a machine-learning model : the performance of the model, i.e. its ability to perform the requested task ; its ability to estimate the uncertainty of its decision ; its explainability, which characterises the possible degree of interactiveness between the user and the model in order to obtain information regarding its inner-workings. Explainability is either inherent to the model (self-explaining model) or the result of post-hoc explanation methods - that attempt to explain the behaviour of a pre-existing model. In the context of computer vision applications, self-explaining models first extract an intermediate representation of the image, composed of semantic variables called attributes. Then, they build their result upon these attributes using a decision-making process that is transparent for the user. However, this thesis points out limitations in the intermediate representation of current state-of-the-art self-explaining models, and proposes to improve attribute extraction through a new unsupervised part learning algorithm - called PARTICUL - that is embedded with an uncertainty measure that acts as a proxy for the visibility of each individual part. Finally, the explainability of a model also depends on the quality of the chosen explanation method. In practice, explanation methods are evaluated using dedicated metrics, with respect to a set of properties covering both the content and the form of the explanation. Our thesis first shows that some existing metrics imperfectly evaluate their corresponding property, then presents new metrics to mitigate the issues found. Additionally, when explaining the behaviour of a complex model for visual classification, we show that these properties of explanations actually correspond to conflicting expectations from the user. Hence, no explanation can simultaneously satisfy all properties and is, by default, the result of a compromise. This observation leads us to reaffirm the importance of the correctness of the information above all other properties, so that the user can make an informed decision when choosing whether to trust the model.