Commande sous-optimale de systèmes non-linéaires en temps discret avec des garanties de stabilité

Near-optimal control of discrete-time nonlinear systems with stability guarantees

• Auteur / Autrice : Mathieu Granzotto
• Direction : Jamal Daafouz, Romain Postoyan
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Traitement du Signal et des Images, Génie Informatique
• Date : Soutenance le 18/12/2019
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en automatique (Nancy)
• Jury : Président / Présidente : Didier Henrion
• Jury : Examinateurs / Examinatrices : Jamal Daafouz, Romain Postoyan, Emmanuel Trélat, Cristina Stoica-Maniu, Dragan Nesic
• Jury : Rapporteurs / Rapporteuses : Emmanuel Trélat, Paulo Tabuada

Mots clés

Mots clés contrôlés

Liapounov, Stabilité de

Programmation dynamique

Intelligence artificielle répartie

Systèmes échantillonnés

Dynamique non-linéaire

Commande, Théorie de la

Mots clés libres

Stabilité

Méthodes de Lyapunov

Système à temp-discret non-linéaire

Contrôle optimal

Intelligence artificielle

Programmation dynamique

Stability

Lyapunov Methods

Nonlinear discrete-time systems

Optimal control

Dynamic programming

Artificial intelligence

Résumé

L’intelligence artificielle est riche en algorithmes de commande optimale. Il s’agit de générer des entrées de commande pour des systèmes dynamiques afin de minimiser une fonction de coût donnée décrivant l’énergie du système par exemple. Ces méthodes sont applicables à de larges classes de systèmes non-linéaires en temps discret et ont fait leurs preuves dans de nombreuses applications. Leur exploitation en automatique s’avère donc très prometteuse. Une question fondamentale reste néanmoins à élucider pour cela: celle de la stabilité. En effet, ces travaux se concentrent sur l’optimalité et ignorent dans la plupart des cas la stabilité du système commandé, qui est au coeur de l’automatique. L’objectif de ma thèse est d’étudier la stabilité de systèmes non-linéaires commandés par de tels algorithmes. L’enjeu est important car cela permettra de créer un nouveau pont entre l’intelligence artificielle et l’automatique. La stabilité nous informe sur le comportement du système en fonction du temps et garantit sa robustesse en présence de perturbations ou d’incertitudes de modèle. Les algorithmes en intelligence artificielle se concentrent sur l’optimalité de la commande et n’exploitent pas les propriétés de la dynamique du système. La stabilité est non seulement désirable pour les raisons auparavant, mais aussi pour la possibilité de l’exploitée pour améliorer ces algorithmes d’intelligence artificielle. Mes travaux de recherche se concentrent sur les techniques de commande issues de la programmation dynamique (approchée) lorsque le modèle du système est connu. J’identifie pour cela des conditions générales grâce auxquelles il est possible de garantir la stabilité du système en boucle fermée. En contrepartie, une fois la stabilité établie, nous pouvons l’exploiter pour améliorer drastiquement les garanties d’optimalité de la littérature. Mes travaux se sont concentrés autour de deux axes. Le premier concerne l’approche par itération sur les valeurs, qui est l’un des piliers de la programmation dynamique approchée et est au coeur de nombre d’algorithmes d’apprentissage par renforcement. Le deuxième concerne l’approche de planification optimiste, appliqué aux systèmes commutés. J’adapte l’algorithme de planification optimiste pour que, sous hypothèse naturel dans un contexte de stabilisation, obtenir la stabilité en boucle fermé et améliorer drastiquement les garanties d’optimalité de l’algorithme.

Artificial intelligence is rich in algorithms for optimal control. These generate commands for dynamical systems in order to minimize a a given cost function describing the energy of the system, for example. These methods are applicable to large classes of non-linear systems in discrete time and have proven themselves in many applications. Their application in control problems is therefore very promising. However, a fundamental question remains to be clarified for this purpose: that of stability. Indeed, these studies focus on optimality and ignore in the In most cases the stability of the controlled system, which is at the heart of control theory. The objective of my thesis is to study the stability of non-linear systems controlled by such algorithms. The stakes are high because it will create a new bridge between artificial intelligence and control theory. Stability informs us about the behaviour of the system as a function of time and guarantees its robustness in the presence of model disturbances or uncertainties. Algorithms in artificial intelligence focus on control optimality and do not exploit the properties of the system dynamics. Stability is not only desirable for the reasons mentioned above, but also for the possibility of using it to improve these intelligence algorithms artificial. My research focuses on control techniques from (approximated) dynamic programming when the system model is known. For this purpose, I identify general conditions by which it is possible to guarantee the stability of the closed-loop system. On the other hand, once stability has been established, we can use it to drastically improve the optimality guarantees of literature. My work has focused on two main areas. The first concerns the approach by iteration on values, which is one of the pillars of dynamic programming is approached and is at the heart of many reinforcement learning algorithms. The second concerns the approach by optimistic planning, applied to switched systems. I adapt the optimistic planning algorithm such that, under natural assumptions in an a stabilisation context, we obtain the stability of closed-loop systems where inputs are generated by this modified algorithm, and to drastically improve the optimality guarantees of the generated inputs.