Apprentissage profond pour l'aide au diagnostic et comparaison des mécanismes d'explicabilité avec l'attention visuelle humaine : application à la détection de la maladie de Crohn

Deep learning for diagnostic support and comparison of explicability mechanisms with human visual attention : application to Crohn’s disease detection

• Auteur / Autrice : Rémi Vallée
• Direction : Harold Mouchère, Nicolas Normand, Antoine Coutrot
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/05/2022
• Etablissement(s) : Nantes Université
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Sciences du Numérique de Nantes
• Jury : Président / Présidente : Michel Dojat
• Jury : Examinateurs / Examinatrices : Clément Chatelain
• Jury : Rapporteurs / Rapporteuses : Michel Dojat, Isabelle Bloch

Mots clés

Mots clés contrôlés

Maladie de Crohn

Attention

Endoscopie

Apprentissage profond

Oculométrie

Mots clés libres

--

Résumé

Quels sont les points communs et les différences entre notre façon de percevoir notre environnement et celles des réseaux de neurones profonds ? Nous étudions cette question au travers d’un cas d’application concret, la détection des lésions issues de la maladie de Crohn dans des vidéos capsules endoscopiques. Dans un premier temps, nous avons développé une base de données, soigneusement annotée par plusieurs experts, que nous avons rendu publique afin de compenser le manque de données permettant l’évaluation et l’entraînement des algorithmes d’apprentissage profond dans ce domaine. Dans un second temps, pour rendre les réseaux plus transparents lors de leur prise de décision et leurs prédictions plus explicables, nous avons travaillé sur l’attention artificielle et établissons un parallèle entre celle-ci et l’attention visuelle humaine. Nous avons enregistré les mouvements oculaires de sujets de différents niveaux d’expertise lors d’une tâche de classification et montrons que les réseaux de neurones profonds, dont les performances sur la tâche de classification sont plus proches de celles des experts que de celles des novices, ont également un comportement attentionnel plus proche de ces premiers. Au travers de ce manuscrit, nous espérons fournir des outils permettant le développement d’algorithmes d’aide au diagnostic, ainsi qu’un moyen d’évaluer les méthodes d’attention artificielle. Ce travail permet d’approfondir les liens entre attention humaine et artificielle, dans le but d’aider les experts médicaux dans leur formation et d’aider au développement de nouvelles architectures d’algorithmes.

What are the similarities and differences between the way we perceive our environment and that of deep neural networks? We study this question through a concrete application case, the detection of lesions from Crohn’s disease in endoscopic video capsules. In a first step, we have developed a database, carefully annotated by several experts, which we have made public in order to compensate for the lack of data allowing the evaluation and training of deep learning algorithms in this domain. In a second step, to make the networks more transparent in their decision making and their predictions more explainable, we worked on artificial attention and establish a parallel between it and human visual attention. We have recorded the eye movements of subjects of different levels of expertise during a classification task and show that deep neural networks, whose performance on the classification task is closer to that of experts than to novices, also have an attentional behavior closer to the former. Through this manuscript, we hope to provide tools for the development of diagnostic assistance algorithms, as well as a way to evaluate artificial attention methods. This work provides a deeper understanding of the links between human and artificial attention, with the goal of assisting medical experts in their training and helping to develop new algorithm architectures.