Modèles réduits et apprentissage profond pour les EDPs

par Emmanuel Menier

Projet de thèse en Mathématiques et Informatique

Sous la direction de Marc Schoenauer.

Thèses en préparation à université Paris-Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication , en partenariat avec Laboratoire Interdisciplinaire des Sciences du Numérique (laboratoire) , A&O - Apprentissage et Optimisation (equipe de recherche) et de Faculté des sciences d'Orsay (référent) depuis le 01-09-2020 .


  • Résumé

    Les phénomènes physiques sont décrits par des équations aux dérivées partielles (EDP) dont les solutions analytiques sont souvent inconnues. Ces EDP doivent donc être résolues de manière numérique en discrétisant les opérateurs différentiels dans le temps et l'espace. Cependant, lorsque des phénomènes très rapides ou encore des phénomènes multi-échelles sont considérés, la discrétisation utilisée peut dépasser le milliard de points et rendre la résolution numérique infaisable. Parce que les simulations numériques sont aujourd'hui au cœur des processus de design, leur coût prohibitif dans beaucoup d'applications industrielles constitue un goulet d'étranglement majeur. Certaines applications tel que le contrôle embarqué nécessitent des moyens de simuler le système plus rapidement que la réalité afin d'estimer l'impact d'une action donnée. Dans ce contexte, les modèles d'ordres réduits (ROM) sont utilisés pour réduire le nombre de degrés de liberté nécessaires à la simulation des systèmes. Les ROM sont basés sur l'extraction d'un espace réduit (généralement à travers une PCA) sur lequel la dynamique d'un système peut être projetée en limitant la perte d'information [1]. La projection de Galerkin permet de passer d'un système à plusieurs millions de degrés de liberté, à un système comprenant seulement quelques dizaines d'équations. Cela dit, une partie de la dynamique du système est perdue lors de la projection sur l'espace réduit utilisé pour construire le modèle réduit, ce qui a pour effet d'introduire des erreurs dans la simulation [2-3]. Certains travaux ont déjà été publiés proposant de remplacer directement les modèles de simulation par des algorithmes d'apprentissage machine. Cependant, il apparaît qu'une approche directe, ignorant les méthodes existantes de réduction de modèles, nécessite une connaissance importante du système d'origine, et ne permet pas pour l'instant d'obtenir des garanties sur les invariants physiques du modèle obtenu [4]. Le but de cette thèse est d'utiliser les méthodes d'apprentissage machine pour corriger les modèles réduits classiques en introduisant un terme de fermeture dans les équations qui prendrait en compte l'information perdue lors de la projection du modèle original. Le but de cette approche est de prendre avantage de la physique intégrée dans les modèles réduits classiques, ainsi que la flexibilité de modèles d'apprentissage machine. Le modèle final devra être : Garanti : La solution finale est une combinaison linéaire de structures spatiales respectant les invariants physiques du système, les conditions limites et autres contraintes. Certifié : Le terme de correction doit reproduire le spectre stable de la dynamique linéarisée du système d'origine et peut être entraîné de manière standardisée en ajoutant des contraintes liées à la stabilité du système [5-6]. Des réseaux de neurones profonds seront utilisés pour prédire le terme de correction dans les modèles réduits. Les réseaux de neurones sont un des algorithmes d'apprentissage machine les plus utilisés aujourd'hui, ils ont l'avantage principal d'être différentiables, ce qui facilite grandement l'introduction de contraintes de stabilité. Dans un premier temps, des méthodes d'optimisation sous contraintes seront utilisées pour s'assurer que la dynamique est Lipschitzienne ou au moins dissipative [5-6]. Ensuite, un terme de correction sera implémenté pour corriger les approches de réduction de modèle classiques [1-3]. Finalement, la qualité du modèle obtenu sera étudiée en comparant ses propriétés spectrales avec celle du modèle complet [7]. La mécanique des fluides sera utilisée comme cas test au cours de la thèse. En effet, beaucoup de méthodes de réduction de modèle ont déjà été appliquées à cette discipline et elle correspond aux cas d'applications industriels de l'IRT SystemX.

  • Titre traduit

    CD-ROM: Complementary Deep - Reduced Order Model


  • Résumé

    Spatio-temporal physical phenomena are described by partial differential equations (PDEs) for which an analytical solution does not always exist. Governing PDEs, then, need to be solved numerically by discretizing space, time and corresponding differential operators. Considering sharp phenomena, extremely fast events or multiscale dynamics, the discretization process can involve billions of grid elements making the numerical methods computationally demanding. However, numerical simulations are today the keystone to improve design processes and cannot always be replaced by experiments (i.e. because of high temperature, corrosive solutions, moving components, etc.). The amount of time required by the numerical simulations is a bottleneck in countless engineering problems. In control task, for instance, models of the environments need to be runned to forecast the effect of an action in the future vis-à-vis of the cost function to be maximised/minimised by the controller. In this framework, the numerical computation has to be faster then the real world in order to anticipate the state evolution. Reduced Order Models (ROMs) have been historically implemented before the advent of the machine learning techniques to alleviate the number of degrees of freedoms (DoFs) required to forecast the dynamics under investigation. The idea behind ROM is to find suitable spatial structures - usually through PCA - onto which the dynamics can be projected with weak loss of information [1]. The Galerkin projection allows to reduce the DoFs from billion to a few dozen preserving system invariants. Nevertheless, the dynamics belonging to the subspace not spanned by the selected PCA modes, introduces dispersion errors because of the non-linear terms in the PDE [2-3]. If machine learning (ML) techniques are implemented to replace numerical simulations, bypassing model reduction, enforcing system invariants in the training process is a challenging step today. Furthermore, a deep knowledge of the system under investigation is required to recover a satisfactory model [4]. The aim of this project is to correct ROMs with ML techniques introducing a closure term in the low-dimensional model which takes into account the effect of the missing information. This solution can benefit from the informed ROM solution and the flexibility of ML techniques to uncover hidden correlations in the data, necessary to complete the dynamics. The expected final model turn out to be: • guaranteed: the final solution is a combination of spatial structures which respect the invariants of the system, the boundary conditions and further constraints (e.g. incompressibility in Navier-Stokes equation). • certified: the closure term recovered with ML technique has to mimic the stable spectrum of the linearized dynamics and then can be trained in a standardized fashion for any PDE introducing constraints pertaining stability criteria [5-6]. In this framework, even in off-design condition, the prediction error is always bounded in a confident range which can be assessed a-priori. Standardized training process, guaranties and error control make such approach appealing for industrial applications. Deep Neural Network (DNN) will be implemented to recover the closure term in ROM. DNN is the landmark method to extract features from the data and has the advantage to be differentiable, a major aspect to introduce stability constraints. In a first step, constrained optimization will be tested to enforce the dynamics to be Lipschitz and/or dissipative as done in [5] and [6]. In a second step a closure term for the most common ROM approaches, described in [1] and [3], will be implemented. The quality of the achieved model will be then studied comparing spectral properties of the full model with respect to the reduced one [7]. The fluid mechanics will be used as testbed for the setup and study of the proposed approach. The description of the fluid motion is, indeed, i) interesting for industrial applications, ii) most of the existing methods for model reductions have been designed in this framework, iii) numerical codes, based on Finite Element Methods (FEM), can be used to solve the governing Navier-Stokes equation and generate required data, iv) codes for ROMs implemented in [1] and [3] are available in the research team of this project and v) application of ML techniques to speed up numerical simulations of fluids motion, and more in general of PDEs, is an emerging research topic in which IRT and INRIA are active since few years. After a first assessment of the method, ROM, equipped with complimentary model, will be tested on industrial test cases provided by an IRT partners.