A smart system for processing and analyzing gastrointestinal abnormalities in wireless capsule endoscopy

Système intelligent pour le traitement et l'analyse d'anomalies gastro-intestinales dans des séquences de capsules vidéo-endoscopiques

• Auteur / Autrice : Tan-Sy Nguyen
• Direction : Hatem Zaag, Marie Luong, John Chaussard
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 18/12/2023
• Etablissement(s) : Paris 13
• Ecole(s) doctorale(s) : École doctorale Galilée (Villetaneuse, Seine-Saint-Denis)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Analyse, géométrie et applications (LAGA) (Villetaneuse, Seine-Saint-Denis) - Laboratoire de traitement et transport de l'information (Villetaneuse, Seine-Saint-Denis)
• Jury : Président / Présidente : Faouzi Alaya Cheikh
• Jury : Examinateurs / Examinatrices : Azeddine Beghdadi
• Jury : Rapporteurs / Rapporteuses : Habib Zaidi, Lu Zhang, Frédéric Dufaux

Mots clés

Mots clés contrôlés

Évaluation

Imagerie médicale

Vidéoendoscopie

Imagerie médicale -- Qualité de l'image

Mots clés libres

Capsule V. E

Évaluation de la qualité d’image sans référence

Égalisation d’histogramme

Wireless Capsule Endoscopy (WCE)

No-Reference image quality assessment (NR-IQA)

Histogram Equalization

Résumé

Dans cette thèse, nous abordons les défis liés à l'identification et au diagnostic des lésions pathologiques dans le tractus gatro-intestinal (GI). L'analyse des quantités massives d'informations visuelles obtenues par une capsule vidéo-endoscopique (CVE) qui est un excellent outil pour visualiser et examiner le tractus GI y compris l'intestin grêle, représente une charge considérable pour les cliniciens, entraînant un risque accru de diagnostic erroné. Afin de palier à ce problème, nous développons un système intelligent capable de détecter et d'identifier automatiquement diverses pathologies gastro-intestinales. Cependant, la qualité limitée des images acquises en raison de distorsions telles que le bruit, le flou et l'éclairement non uniforme constitue un obstacle significatif. Par conséquent, les techniques de prétraitement des images jouent un rôle crucial dans l'amélioration de la qualité des images acquises, facilitant ainsi les tâches de haut niveau telles que la détection et la classification des anomalies. Afin de résoudre les problèmes liés à la qualité limitée des images causée par les distorsions mentionnées précédemment, plusieurs nouveaux algorithmes d'apprentissage ont été proposés. Plus précisément, les avancées récentes dans le domaine de la restauration et de l'amélioration de la qualité des images reposent sur des approches d'apprentissage qui nécessitent des paires d'images déformées et de référence pour l'entraînement. Cependant, en ce qui concerne la CVE, un défi significatif se pose en raison de l'absence d'une base de données dédiée pour évaluer la qualité des images. À notre connaissance, il n'existe actuellement aucune base de données spécialisée conçu spécifiquement pour évaluer la qualité vidéo en CVE. Par conséquent, en réponse à la nécessité d'une base de données complète d'évaluation de la qualité vidéo, nous proposons tout d'abord la "Quality-Oriented Database for Video Capsule Endoscopy" (QVCED). Ensuite, nos résultats montrent que l'évaluation de la gravité des distorsions améliore significativement l'efficacité de l'amélioration de l'image, en particulier en cas d'illumination inégale. À cette fin, nous proposons une nouvelle métrique dédiée à l'évaluation et à la quantification de l'éclairage inégal dans les images laparoscopiques ou par CVE, en extrayant l'éclairement de l'arrière-plan de l'image et en tenant compte de l'effet de la mise en égalisation de l'histogramme. Notre métrique démontrant sa supériorité et sa performance compétitive par rapport aux méthodes d'évaluation de la qualité d'image avec référence complète (FR-IQA).Après avoir effectué l'étape d'évaluation, nous développons une méthode d'amélioration de la qualité d'image visant à améliorer la qualité globale des images. Le nouvel algorithme est basé sur un mécanisme de l'attention croisée, qui permet d'établir l'interaction d'information entre la tâche de l'extraction du niveau de distorsion et de la localisation de régions dégradées. En employant cet algorithme, nous sommes en mesure d'identifier et de cibler précisément les zones spécifiques des images affectées par les distorsions. Ainsi, cet algorithme permet le traitement approprié adapté à chaque région dégradée, améliorant ainsi efficacement la qualité de l'image. Suite à l'amélioration de la qualité de l'image, des caractéristiques visuelles sont extraites et alimentées dans un classificateur pour fournir un diagnostic par classification. La difficulté dans le domaine de CVE est qu'une partie significative des données reste non étiquetée. Pour relever ce défi, nous avons proposé une méthode efficace basée sur l'approche d'apprentissage auto-supervisé ("Self-Supervised Learning" ou SSL en anglais) afin d'améliorer les performances de la classification. La méthode proposée, utilisant le SSL basé sur l'attention, ont réussi à résoudre le problème des données étiquetées limitées couramment rencontré dans la littérature existante.

In this thesis, we address the challenges associated with the identification and diagnosis of pathological lesions in the gastrointestinal (GI) tract. Analyzing massive amounts of visual information obtained by Wireless Capsule Endsocopy (WCE) which is an excellent tool for visualizing and examining the GI tract (including the small intestine), poses a significant burden on clinicians, leading to an increased risk of misdiagnosis.In order to alleviate this issue, we develop an intelligent system capable of automatically detecting and identifying various GI disorders. However, the limited quality of acquired images due to distortions such as noise, blur, and uneven illumination poses a significant obstacle. Consequently, image pre-processing techniques play a crucial role in improving the quality of captured frames, thereby facilitating subsequent high-level tasks like abnormality detection and classification. In order to tackle the issues associated with limitations in image quality caused by the aforementioned distortions, novel learning-based algorithms have been proposed. More precisely, recent advancements in the realm of image restoration and enhancement techniques rely on learning-based approaches that necessitate pairs of distorted and reference images for training. However, a significant challenge arises in WCE which is an excellent tool for visualizing and diagnosing GI disorders, due to the absence of a dedicated dataset for evaluating image quality. To the best of our knowledge, there currently exists no specialized dataset designed explicitly for evaluating video quality in WCE. Therefore, in response to the need for an extensive video quality assessment dataset, we first introduce the "Quality-Oriented Database for Video Capsule Endoscopy" (QVCED).Subsequently, our findings show that assessing distortion severity significantly improves image enhancement effectiveness, especially in the case of uneven illumination. To this end, we propose a novel metric dedicated to the evaluation and quantification of uneven illumination in laparoscopic or WCE images, by extracting the image's background illuminance and considering the mapping effect of Histogram Equalization. Our metric outperforms some state-of-the-art No-Reference Image Quality Assessment (NR-IQA) methods, demonstrating its superiority and competitive performance compared to Full-Reference IQA (FR-IQA) methods.After conducting the assessment step, we proceed to develop an image quality enhancement method aimed at improving the overall quality of the images. This is achieved by leveraging the cross-attention algorithm, which establishes a comprehensive connection between the extracted distortion level and the degraded regions within the images. By employing this algorithm, we are able to precisely identify and target the specific areas in the images that have been affected by distortions. This allows an appropriate enhancement tailored to each degraded region, thereby effectively improving the image quality.Following the improvement of image quality, visual features are extracted and fed into a classifier to provide a diagnosis through classification. The challenge in the WCE domain is that a significant portion of the data remains unlabeled. To overcome this challenge, we have developed an efficient method based on self-supervised learning (SSL) approach to enhance the performance of classification. The proposed method, utilizing attention-based SSL, has successfully addressed the issue of limited labeled data commonly encountered in the existing literature