Combinaison entre simulation numérique et apprentissage automatique : applications à la formation, la planification préopératoire et l'assistance peropératoire

Machine learning meets real-time numerical simulation : application to surgical training, preoperative planning and surgical assistance

• Auteur / Autrice : Andrea Mendizabal
• Direction : Stéphane Cotin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/12/2020
• Etablissement(s) : Strasbourg
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Yohan Payan
• Jury : Examinateurs / Examinatrices : Souvik Chakraborty
• Jury : Rapporteurs / Rapporteuses : Elias Cueto, José David Martín Guerrero

Mots clés

Mots clés contrôlés

Chirurgie opératoire

Éléments finis, Méthode des

Neurones

Simulation par ordinateur

Mots clés libres

Simulation en temps-réel

Simulation patient-spécifique

Réseau de neurones profond

Méthode des éléments finis

Chirurgie augmentée

Real-time

Deep neural networks

Finite element method

Data-driven simulation

Augmented surgery

Résumé

Il existe une multitude de domaines en ingénierie nécessitant le calcul de déformations non-linéaires en temps réel, notamment dans le domaine de la médecine, avec les simulateurs pour l'entrainement des chirurgiens ou bien la chirurgie guidée par l'image. Dans un contexte de chirurgie augmentée, il est nécessaire de réaliser un recalage élastique des données préopératoires sur la vue intraopératoire de l'organe. L'objectif est de superposer en temps réel, un modèle virtuel spécifique à chaque patient, à la vue du champ opératoire dans le but de visualiser les structures internes de l'organe (tumeurs ou artères par exemple). Afin d'obtenir une précision adaptée, il est nécessaire de construire un modèle bioméchanique personnalisé de l'organe. Pour ce faire, la méthode des éléments-finis est la technique préférée afin de prédire la déformation des tissus mous. Cependant la complexité des calculs impliqués (notamment dans le cas de déformations non-linéaires) rend cette méthode incompatible avec les exigences de temps réel et de précision, inhérentes au domaine d'application visé.Pour répondre à ces contraintes, on propose de combiner des simulations éléments-finis avec des réseaux de neurones profonds pour modéliser le comportement biomécanique des tissus humains. En particulier on présente la plateforme U-Mesh permettant de prédire en temps-réel les déformations d'un organe comme le foie avec une précision adaptée à la chirurgie augmentée.

Many engineering applications require accurate numerical simulations of non-linear structures in real-time. Some important examples can be found in the field of medicine, in order to develop surgical training systems, or in the field of surgical navigation where augmented reality can bring significant improvements to the clinical gesture. To guarantee the accuracy of the simulations, patient-specific modeling must be pursued by taking into account personalized material parameters and boundary conditions. In the context of augmented surgery for instance, it is essential to perform an elastic registration between the preoperative and the intraoperative images. To this end, a patient-specific biomechanical model must be built to produce real-time finite-element simulations of the deformed organ. This is in practice very difficult to achieve as the problems to be solved are highly complex, in particular when non-linear deformations are considered. In this work, we propose a method combining finite-element simulations and deep neural networks in order to satisfy the rapidity and accuracy requirements of medical applications. In particular, we present the U-Mesh framework, capable of predicting in real-time the shape of a highly deformable organ like the liver in order to guide surgeons during interventions where following the organ's deformation is crucial for the surgery to be successful.