Deep Generative Models for the Prediction of Brain Tumor Progression from Multimodal Data

Μοdèles génératifs pοur la prédictiοn de la prοgressiοn du cancer à partir de dοnnées multimοdales

• Auteur / Autrice : Aghiles Kebaili
• Direction : Su Ruan
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/09/2025
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Analyse Intégrée Multimodale en Santé (2025-....) - Analyse intégrée multimodale en santé
• Partenaire(s) de recherche : Établissement co-accrédité : Université de Rouen Normandie (1966-....)
• Jury : Examinateurs / Examinatrices : Su Ruan, Fabrice Mériaudeau, Ninon Burgos, Camille Kurtz, Pierre Vera, Jérôme Lapuyade-Lahorgue, Carole Frindel
• Jury : Rapporteurs / Rapporteuses : Fabrice Mériaudeau, Ninon Burgos

Mots clés

Mots clés contrôlés

Médecine personnalisée

Incertitude (théorie de l'information)

Tomographie par émission

Tumeurs -- Classification

Gliomes

Évolution de la maladie

Imagerie pour le diagnostic

Imagerie par résonance magnétique

Apprentissage profond

Mots clés libres

Apprentissage profond

Modélisation générative

Modèles de diffusion

Autoencodeurs variationnels

IRM multimodale

Imagerie médicale

Prédiction de la progression tumorale

Quantification de l'incertitude

Suivi longitudinal

Gliome

Pet

Deep Learning

Generative Modeling

Diffusion Models

Variational Autoencoders

Multimodal MRI

Medical Imaging

Tumor Progression Prediction

Uncertainty Quantification

Longitudinal Follow-Up

Glioma

Pet

Résumé

L'apprentissage profond a révolutionné l'imagerie médicale, permettant une précision sans précédent dans des tâches telles que la segmentation d'organes, la détection de lésions et la classification tissulaire. Il devient de plus en plus essentiel d'appliquer ces méthodes à des prédictions cliniques complexes, notamment la progression du cancer et la réponse au traitement. Dans cette thèse, nous nous intéressons à la prédiction spatiale pixel à pixel de l'évolution des tumeurs cérébrales, en particulier des gliomes, en développant une framework novatrice pour la modélisation spatiale de la croissance tumorale. Ces tâches de prédiction sont intrinsèquement complexes et exigent de vastes jeux de données longitudinales et multimodales afin d'appréhender l'ensemble des paramètres cliniques, biologiques ou radiologiques qui régissent le comportement tumoral. Or, les données d'imagerie médicale restent très limitées : d'une part à cause de protocoles d'acquisition lourds et coûteux, de la réglementation sur la confidentialité, et de la survie restreinte des patients atteints de gliome, d'autre part en raison de la nature souvent irrégulière des suivis IRM en pratique clinique, qui aboutit à des séries incomplètes et déséquilibrées. Pour surmonter ces difficultés, nous proposons dans la première partie de notre travail deux méthodes d'augmentation générative, tirant parti des autoencodeurs variationnels et des modèles de diffusion pour synthétiser des images médicales longitudinales de haute fidélité ainsi que leurs masques de segmentation correspondants, offrant une représentation spatiale claire des tumeurs générées. En enrichissant le jeu de données d'entraînement de cette façon, nous améliorons significativement la qualité des modèles prédictifs en aval. En nous appuyant sur les données synthétiques générées précédemment, nous avons élaboré un modèle de diffusion multitâche, capable de prévoir l'évolution spatiale des gliomes à partir de deux acquisitions initiales uniquement. Lors de nos tests sur des cohortes publiques et privées, il atteint un coefficient de Dice moyen de 0,75 sur des prévisions s'étalant sur plusieurs mois, tout en conservant une robustesse remarquable entre différents centres d'imagerie. En combinant notre approche d'augmentation générative, cette approche démontre la possibilité de modéliser avec précision la progression des gliomes, sans être contraint par un repère temporel fixe, même lorsque les séries longitudinales restent limitées. Ces résultats représentent une avancée majeure pour la neuro-oncologie, en offrant aux cliniciens un outil de planification thérapeutique plus fin et adapté à chaque patient.

Deep learning has revolutionized medical imaging, enabling unprecedented accuracy in tasks such as organ segmentation, lesion detection, and tissue classification. It becomes increasingly important to apply these methods to complex clinical predictions, such as prediction of cancer progression and treatment response. In this thesis, we focus on predicting spatial pixel-wise brain tumor evolution, particularly glioma progression, by developing a novel framework for spatial modeling of tumor growth. Such prediction tasks are inherently complex and rely on vast, multimodal, longitudinal datasets to capture the numerous factors influencing tumor behavior. However, medical imaging data are chronically scarce due to burdensome acquisition protocols, privacy regulations, and the limited survival time of glioma patients, further exacerbated by the irregularly acquired longitudinal MRI data in clinical practice, leading to incomplete follow-up sequences and data imbalances. To address these challenges, we propose in the first part of our work two generative augmentation method, leveraging variational autoencoders and diffusion-based models to synthesize high-fidelity longitudinal medical images and their corresponding segmentation masks, providing a clear spatial representation of generated tumors. The augmented datasets substantially improve training for downstream prediction models. Building on these enriched datasets, we propose in the second part of our work, an end-to-end multitask diffusion framework that integrates synthetic medical images and uncertainty quantification to forecast spatial tumor progression from as few as two early MRI timepoints. Our model accurately predicts future tumor extent up to several months ahead, achieving a mean Dice similarity coefficient of 0.75 on held-out public and private test sets, and demonstrating robust generalization across imaging centers. By combining generative augmentation approaches with a multi-task diffusion-based predictor, we show the possibility of accurate, time-agnostic glioma progression modeling from limited longitudinal MRI data. This work represents a significant step toward improving clinical decision-making in neuro-oncology, enabling personalized treatment planning and better patient outcomes.