Apprentissage profond pour les systèmes dynamiques partiellement observables

Deep Learning for Partially Observed Dynamical Systems

• Auteur / Autrice : Thibault Monsel
• Direction : Alexandre Allauzen, Guillaume Charpiat, Onofrio Semeraro
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....) - Institut national de recherche en informatique et en automatique (France). Unité de recherche (Saclay, Ile-de-France)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Mathilde Mougeot
• Jury : Examinateurs / Examinatrices : Luca Magri, Benjamin Sanderse, Nicolas Thome, Patrick Kidger, Camilla Fiorini
• Jury : Rapporteurs / Rapporteuses : Luca Magri, Benjamin Sanderse

Mots clés

Mots clés contrôlés

Équations différentielles

Systèmes à retard

Systèmes dynamiques

Apprentissage profond

Mots clés libres

Apprentissage profond

Systèmes dynamiques

Systèmes partiellement observés

Équations Différentielles Ordinaires neuronales

Équations Différentielles à Retardement

Deep Learning

Dynamical Systems

Partially observed systems

Neural ODEs

Delay Differential Equations

Résumé

Les équations différentielles partielles (EDP) sont la pierre angulaire de la modélisation des systèmes dynamiques dans diverses disciplines scientifiques. Traditionnellement, les scientifiques utilisent une méthodologie rigoureuse pour interagir avec les processus physiques, collecter des données empiriques et dériver des modèles théoriques. Cependant, même lorsque ces modèles correspondent étroitement aux données observées, ce qui n'est souvent pas le cas, les simplifications nécessaires à l'étude et à la simulation peuvent obscurcir notre compréhension des phénomènes sous-jacents.Cette thèse explore la manière dont les données acquises à partir de systèmes dynamiques peuvent être utilisées pour améliorer et/ou dériver de meilleurs modèles. Le manuscrit se concentre particulièrement sur les dynamiques partiellement observées, où l'état complet du système n'est pas complètement mesuré ou observé. Grâce à la théorie des systèmes partiellement observés, y compris le formalisme de Mori-Zwanzig et le théorème de Takens, nous motivons une structure non-markovienne, en particulier les équations différentielles à retardement (EDR).En combinant le pouvoir d'expression des réseaux neuronaux avec les EDR, nous proposons de nouveaux modèles pour les systèmes partiellement observés. Comme les EDP basées sur les réseaux neuronaux (EDP neuronales) en sont encore à leurs débuts, nous étendons l'état actuel de l'art dans ce domaine en étudiant et en comparant les modèles d'EDP neuronales avec des types de retard arbitraires connus a-priori à travers une variété de systèmes dynamiques. Ces références incluent des systèmes avec des retards dépendant du temps et de l'état. Sur la base de ces études, nous explorons ensuite la paramétrisation des retards constants dans les EDP neuronales. Nos résultats démontrent que l'introduction de retards constants pouvant être appris, par opposition à des configurations de retards fixes, permet d'améliorer les performances globales de la modélisation et de l'ajustement des systèmes dynamiques.Nous appliquons ensuite les EDP neurales non markoviennes avec des retards constants pouvant être appris à la modélisation de la fermeture et de la correction des systèmes dynamiques, en démontrant une meilleure précision à long terme par rapport aux termes des équations différentielles ordinaires. Enfin, nous explorons l'utilisation des EDR neuronales dans le contexte de la commande prédictive de modèle pour le contrôle des systèmes dynamiques.

Partial Differential Equations (PDEs) are the cornerstone of modeling dynamical systems across various scientific disciplines. Traditionally, scientists employ a rigorous methodology to interact with physical processes, collect empirical data, and derive theoretical models. However, even when these models align closely with observed data, which is often not the case, the necessary simplifications made for study and simulation can obscure our understanding of the underlying phenomena.This thesis explores how data acquired from dynamical systems can be utilized to improve and/or derive better models. The manuscript focuses particularly on partially observed dynamics, where the system's full state is not completely measured or observed. Through the theory of partially observed systems, including the Mori-Zwanzig formalism and Takens' theorem, we motivate a non-Markovian structure, specifically Delay Differential Equations (DDEs).By combining the expressive power of neural networks with DDEs, we propose novel models for partially observed systems. As neural network-based DDEs (Neural DDEs) are still in their infancy, we extend the current state of the art in this field by studying and benchmarking Neural DDE models with a-priori known arbitrary delay types across a variety of dynamical systems. These benchmarks include systems, with time-dependent and state-dependent delays. Building upon these investigations, we then explore the parameterization of constant delays in Neural DDEs. Our findings demonstrate that introducing learnable constant delays, as opposed to fixed delay configurations, results in improved overall performance in dynamical system modeling and fitting.We then apply the non-Markovian Neural DDEs with learnable constant delays to dynamical system closure and correction modeling, demonstrating improved long-term accuracy compared to Ordinary Differential Equation terms. Lastly, we explore the use of Neural DDEs in the context of Model Predictive Control (MPC) for controlling dynamical systems.