Some results on the McKean–Vlasov optimal control and mean field games : Limit theorems, dynamic programming principle and numerical approximations
Quelques résultats sur le contrôle optimal McKean-Vlasov et les jeux à champ moyen
Résumé
This thesis is formulated in three parts with eight chapters and presents a research topic dealing with controlled processes/particles/agents in interaction.In the first part of the dissertation, we focus our attention on the study of interacting controlled processes representing a cooperative equilibrium, also called Pareto equilibrium. A cooperative equilibrium can be seen as a situation where there is no way to improve the preference criterion of one agent without lowering the preference criterion of at least one other agent. It is now known that this kind of optimization problem is related, when the number of agents goes to infinity, to the optimal control of McKean--Vlasov processes. In the first three chapters of this thesis, we provide a precise mathematical answer to the connection between these two optimization problems in various frameworks improving the existing literature, in particular by taking into account the law of control while allowing a common noise situation.After studying the behavior of the cooperative equilibria, we conclude the first part where we spend times in the analysis of the limit problem i.e. the McKean--Vlasov optimal control, through the establishing of the Dynamic Programming Principle (DPP) for this stochastic control problem.The second part of this thesis is devoted to the study of the interacting controlled processes now representing a Nash equilibrium, also called competitive equilibrium. A Nash equilibrium situation in a game is a situation in which no one has anything to gain by moving unilaterally from his own position. Since the pioneering works of Larsy--Lions and Huang--Malhamé--Caines, the behavior of Nash equilibria when the number of agents goes to infinity has been intensively studied and the associated limit game is known as Mean Field Games (MFG). In this second part, we analyze first the convergence of the competitive equilibrium to the MFG in a framework with the law of control and with control of volatility, then, the issue of the existence of MFG equilibrium in this context is studied.Finally, the last part which includes only one chapter, is dedicated to some numerical methods to solve the McKean--Vlasov limit problem. Inspired by the proof of the convergence of cooperative equilibrium, we give a numerical algorithm to solve the McKean--Vlasov optimal control problem and we prove its convergence. Then, we implement our algorithm using neural networks and test its efficiency on some application examples, namely the mean--variance portfolio selection, the inter--bank systemic risk model and the optimal liquidation with market impact.
Cette thèse est formulée en trois parties avec huit chapitres et présente un thème de recherche traitant des processus contrôlés / particules / agents en interaction.Dans la première partie de la thèse, nous focalisons notre attention sur l'étude des processus contrôlés en interaction représentant un équilibre coopératif, également appelé équilibre de Pareto. Un équilibre coopératif peut être vu comme une situation où il n'y a aucun moyen d'améliorer le critère de préférence d'un agent sans abaisser le critère de préférence d'au moins un autre agent. Il est bien connu maintenant que ce type de problème d'optimisation est lié, lorsque le nombre d'agents passe à l'infini, au contrôle optimal McKean-Vlasov. Dans les trois premiers chapitres de cette thèse, nous apportons une réponse mathématique précise au lien entre ces deux problèmes d'optimisation dans différents cadres améliorant la littérature existante, notamment en prenant en compte la loi de commande tout en permettant une situation de bruit commune.Après avoir étudié le comportement des équilibres coopératifs, nous concluons la première partie où nous passons du temps dans l'analyse du problème limite c'est-à-dire le contrôle optimal McKean-Vlasov, à travers l'établissement du principe de programmation dynamique (PPD) pour ce problème de contrôle stochastique.La seconde partie de cette thèse est consacrée à l'étude des processus contrôlés en interaction représentant désormais un équilibre de Nash, également appelé équilibre compétitif. Une situation d'équilibre de Nash dans un jeu est une situation dans laquelle personne n'a rien à gagner en quittant unilatéralement sa propre position. Depuis les travaux pionniers de Larsy - Lions et Huang - Malhamé - Caines, le comportement des équilibres de Nash lorsque le nombre d'agents atteint l'infini a été intensivement étudié et le jeu limite associé est connu sous le nom de Mean Field Games (MFG). Dans cette seconde partie, nous analysons d'abord la convergence des equilibres compétitifs vers les MFG dans un cadre avec la loi de contrôle et avec le contrôle de la volatilité, puis, la question de l'existence de l'équilibre MFG dans ce contexte est étudiée.Enfin, la dernière partie, qui ne comprend qu'un seul chapitre, est consacrée à quelques méthodes numériques pour résoudre le problème limite i.e. contrôle optimal McKean - Vlasov. Inspiré par la preuve de la convergence de l'équilibre coopératif, nous donnons un algorithme numérique pour résoudre le problème de contrôle optimal McKean-Vlasov et nous prouvons sa convergence. Ensuite, nous implémentons notre algorithme à partir de réseaux de neurones et testons son efficacité sur quelques exemples d'application, à savoir la sélection de portefeuille moyenne-variance, le modèle de risque systémique interbancaire et la liquidation optimale avec impact marché.
Origine : Version validée par le jury (STAR)