Contributions à l'automatisation du recalage d'un modèle préopératoire 3D à une image 2D en chirurgie mini-invasive du foie

Contributions to the Automation of Preoperative 3D Model to 2D Image Registration in Mini-Invasive Liver Surgery : Primitive Detection, Pose Estimation, Registration and Anatomical Modelling

• Auteur / Autrice : Mathieu Labrunie
• Direction : Adrien Bartoli
• Type : Thèse de doctorat
• Discipline(s) : Génie électrique, électronique et systèmes
• Date : Soutenance le 02/12/2024
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Président / Présidente : Pierre Jannin
• Jury : Examinateurs / Examinatrices : Daniel Pizarro, Christophe Tilmant
• Jury : Rapporteurs / Rapporteuses : Timothy Cootes, Stefanie Speidel
• DOI : 10.70675/d2f7a3ccz0020z41edzb473z77254303a4f4

Mots clés

Mots clés contrôlés

Recalage 2D/3D

Automatisation

Chirurgie mini-invasive

Imagerie médicale

Réalité augmentée

Foie -- Chirurgie

Mots clés libres

Recalage 3D-2D

Chirurgie Mini-Invasive

Foie

Modèle Générique

Segmentation

Réalité Augmentée

3D/2D Registration

Mini-Invasive Surgery

Liver

Generic Model

Segmentation

Augmented Reality

Résumé

La résection hépatique consiste à retirer des parties du foie qui englobent des tumeurs. Elle peut être réalisée de manière mini-invasive, par le biais d'instruments chirurgicaux et d'un endoscope insérés au travers de la paroi abdominale par de petites incisions. La chirurgie mini-invasive a des avantages importants par rapport à la chirurgie ouverte, comme des complications postopératoires et une durée d'hospitalisation réduites. Cependant, la localisation des structures internes du foie telles que les tumeurs et les vaisseaux sanguins est difficile.Ces positions peuvent être extraites d'une imagerie préopératoire du patient, et utilisées pour construire un modèle 3D du foie avec ses structures internes d'intérêt. Cependant, le modèle 3D doit être déplacé et déformé pour que sa projection corresponde à l'image 2D de la scène mini-invasive intra-abdominale : c'est le problème du recalage 3D/2D. Les informations du modèle préopératoire recalé peuvent être augmentées sur l'image pour être visualisées par le chirurgien, lui apportant la réalité augmentée. Des informations augmentées précises pourraient réduire les problèmes de localisation en chirurgie mini-invasive. Des travaux précédents ont mis en place une méthodologie informatisée de base pour le recalage 3D/2D spécifique au patient. Elle consiste à estimer le mouvement rigide (la pose) puis la déformation du modèle préopératoire, en se basant principalement sur des correspondances 3D/2D de repères de surface de foie. Cependant, elle contient des étapes manuelles, ce qui n'est pas adapté à la pratique clinique, notamment dû aux besoins de ne pas ajouter de la charge mentale au chirurgien et de généralement préserver son habillage stérile. L'objectif principal de cette thèse est de passer à l'étape suivante, en automatisant la procédure de recalage 3D/2D peropératoire. Deux voies sont envisagées pour le réaliser : automatiser chaque étape peropératoire manuelle de la méthodologie de base, et exploiter l'apprentissage profond. Pour la première voie, nous formulons d'abord l'étape d'annotation des repères 2D comme un problème de segmentation d'image et comparons différentes architectures encodeur-décodeur. Un réseau de neurones entièrement basé sur le mécanisme d'attention obtient les meilleurs résultats, pour des entrées d'images indépendantes. Cependant, il est surpassé par un réseau prenant en compte des informations supplémentaires provenant d'autres images et masques. L'estimation de pose est ensuite automatisée via un algorithme itératif qui prend en compte la visibilité des repères 3D de l'itération précédente pour affiner la pose estimée. Il s'exécute en quelques secondes et obtient des résultats très compétitifs par rapport à l'estimation manuelle.Pour la seconde voie basée sur l'apprentissage, nous établissons un lien avec la reconstruction de forme de corps humain afin d'adapter une architecture encodeur-régresseur au problème de recalage 3D/2D du foie. Des cartes de distance de repères annotés alimentent l'encodeur, alors que des paramètres de pose et déformation sont régressés itérativement. L'apprentissage préopératoire est basé sur des simulations. Cette première version obtient des résultats de recalage équivalents aux précédentes méthodes de l'état de l'art, mais son inférence est en temps-réel.Une seconde version remplace le modèle de déformation spécifique au patient par un modèle de forme de foie générique, construit en utilisant des informations anatomiques. Cela résulte en de très faibles erreurs de recalage et de reconstruction de surface. Cette version générique contient aussi un bloc préopératoire pour traiter des données spécifiques au patient. Bien que sa performance soit légèrement inférieure aux autres méthodes, elle ne requiert pas de ré-entraînement pour chaque patient et peut s'appliquer sans données spécifiques, facilitant l'augmentation générique en plus de spécifique.

Minimally invasive liver resection consists in removing liver parts enclosing tumours using surgical tools, while visualising the abdominal cavity through an endoscope, both inserted through small incisions in the abdominal wall. It offers significant advantages over open liver resection, including fewer postoperative complications and shorter hospital stays. However, the localisation of liver inner structures, such as tumours and blood vessels, remains challenging.This information can be extracted from preoperative imaging and used for building a 3D model of the liver with its inner structures. However, this model must be moved and deformed for its projection to be aligned with the 2D image of the intra-abdominal surgical scene; this is the 3D/2D registration problem. Augmented reality enhances mini-invasive images with information from the registered preoperative model. Accurate augmented information could alleviate the limitations of mini-invasive surgery.To this end, previous computer-based approaches have established a patient-specific registration pipeline, mainly relying on 3D/2D liver surface landmark correspondences to estimate pose (rigid movement) and then deformation. However, these methods still contain manual steps. In clinical practice, this is not handy for the surgeon, whose focus should not be disturbed and gloves should be kept sterile. The main objective of this thesis is to improve upon this baseline by automating the 3D-2D intraoperative registration process using 3D/2D correspondence information. We propose two approaches: automating the manual intraoperative steps of the registration pipeline, or using a learning-based framework.We first review the baseline pipeline and redefine the landmarks. This facilitates the identification of relevant 3D/2D correspondences. Additionally, we compare different deformation models and select one based on biomechanical simulations followed by dimension reduction.Next, we automate the manual intraoperative steps from the baseline pipeline, comprising landmark annotation on mini-invasive images and pose estimation. We formulate the former as an image segmentation task and compare segmentation neural networks based on encoder-decoder architectures. The best results for image independent inputs are achieved with a fully attention-based network, but these are further improved when incorporating additional information from other images and masks. Pose estimation is tackled using an iterative visibility-aware algorithm, refining 3D/2D landmark point correspondences to estimate pose according to the visible 3D surface landmark parts from the previous iteration. This method obtains competitive results compared to manual pose estimation, while executing in a few seconds.Regarding the learning-based framework, we draw connections to human body shape reconstruction to adapt an encoder-regressor architecture network to the 3D/2D liver registration problem. Distance maps of automatically or manually annotated landmarks are input to the encoder, while pose and deformation parameters are iteratively regressed. Preoperative training involves simulating corresponding inputs and outputs. This patient-specific approach obtains registration results on par with previous state-of-the-art methods, while ensuring real-time network inference.Instead of a patient-specific deformation model, the second learning-based approach uses a generic liver shape model, which is built using anatomical priors. This leads to very low surface registration and reconstruction errors. This patient-generic approach also includes a preoperative block for processing patient-specific data. Although the 3D-2D registration accuracy is slightly lower than that of patient-specific methods, it does not require per-patient retraining and can be applied without patient-specific data, facilitating both patient-generic and patient-specific image augmentation.