Jeux répétés à somme nulle : algorithmes accélérés et meilleure approximation tropicale

Zero-sum repeated games : accelerated algorithms and tropical best-approximation

• Auteur / Autrice : Omar Saadi
• Direction : Stéphane Gaubert, Marianne Akian
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 17/12/2021
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École polytechnique (Palaiseau, Essonne ; 1795-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées (Palaiseau, Essonne)
• Jury : Président / Présidente : Omid Amini
• Jury : Examinateurs / Examinatrices : Stéphane Gaubert, Marianne Akian, William M. McEneaney, Vineet Goyal, Joséphine Yu, Petros Maragos, Zheng Qu
• Jury : Rapporteurs / Rapporteuses : William M. McEneaney, Vineet Goyal

Mots clés

Mots clés contrôlés

Processus décisionnels de Markov relationnels

Théorie des jeux

Mots clés libres

Processus de décision Markoviens

Jeux stochastiques

Accélération de Nesterov

Itération sur les valeurs déflatée

Régression linéaire tropicale

Approximation tropicale de petit rang

Markov decision processes

Stochastic games

Nesterov acceleration

Deflated value iteration

Tropical linear regression

Tropical low-Rank approximation

Résumé

Dans cette thèse, nous développons des algorithmes accélérés pour les processus de décision Markoviens (MDP) et plus généralement pour les jeux stochastiques à somme nulle (SG). Nous abordons également les problèmes de meilleure approximation qui se posent en géométrie tropicale.La programmation dynamique est l'une des principales approches utilisées pour résoudre les problèmes MDP et SG. Elle permet de transformer un jeu en un problème de point fixe faisant intervenir un opérateur appelé opérateur de Shapley (ou opérateur de Bellman dans le cas de MDP). L'itération sur les valeurs (VI) et l'itération sur les politiques (PI) sont les deux principaux algorithmes permettant de résoudre ces problèmes de point fixe. Cependant, dans le cas d'instances à grande échelle, ou lorsque l'on veut résoudre un problème à paiement moyen (où il n'y a pas de facteur d'escompte pour les paiements reçus dans le futur), les méthodes classiques deviennent lentes.Dans la première partie de cette thèse, nous développons deux raffinements des algorithmes classiques d'itération sur les valeurs ou sur les politiques. Nous proposons d'abord une version accélérée de l'itération sur les valeurs (AVI) permettant de résoudre des problèmes de point fixe affines avec des matrices non auto-adjointes, ainsi qu'une version accélérée de l'itération sur les politiques (API) pour MDP, basée sur AVI. Cette accélération étend l'algorithme de gradient accéléré de Nesterov à une classe de problèmes de point fixe qui ne peuvent pas être interprétés en termes de programmation convexe. Nous caractérisons les spectres des matrices pour lesquelles cet algorithme converge avec un taux de convergence traduisant une accélération. Nous introduisons également un algorithme accéléré de degré d, et montrons qu'il donne un taux de convergence multi-accéléré sous des conditions plus exigeantes sur le spectre des matrices. Une autre contribution est une version déflatée de l'itération sur les valeurs (DVI) pour résoudre la version à paiement moyen des jeux stochastiques. Cette méthode permet de transformer un problème à paiement moyen en un problème escompté sous l'hypothèse d'existence d'un état distingué accessible depuis tous les autres états et sous toutes les politiques. En combinant cette méthode de déflation avec des techniques de réduction de la variance, nous obtenons un algorithme sous-linéaire résolvant les jeux stochastiques à paiement moyen.Dans la deuxième partie de cette thèse, nous étudions différents problèmes de meilleure approximation tropicale. Nous résolvons d'abord un problème de régression linéaire tropicale consistant à trouver la meilleure approximation d'un ensemble de points par un hyperplan tropical. Nous montrons que la valeur de ce problème de régression coïncide avec le rayon maximal d'une boule de Hilbert incluse dans un polyèdre tropical, et que ce problème est équivalent en temps polynomial aux jeux à paiement moyen. Nous appliquons ces résultats à un problème inverse de la théorie des enchères. Nous étudions également un analogue tropical de l'approximation de petit rang pour les matrices. Ceci est motivé par les méthodes approchées en programmation dynamique, dans lesquelles la fonction valeur est approximée par un supremum de fonctions élémentaires. Nous établissons des propriétés générales de l'approximation tropicale de petit rang et identifions des classes particulières de problèmes d'approximation de petit rang qui peuvent être résolus en temps polynomial. En particulier, nous montrons que la meilleure approximation matricielle tropicale de rang un équivaut à trouver le rayon minimal d'une boule de Hilbert contenant un polyèdre tropical.

In this thesis, we develop accelerated algorithms for Markov decision processes (MDP) and more generally for zero-sum stochastic games (SG). We also address best approximation problems arising in tropical geometry.Dynamic programming is one of the main approaches used to solve MDP and SG problems. It allows one to transform a game to a fixed point problem involving an operator called Shapley operator (or Bellman operator in the case of MDP). Value iteration (VI) and policy iteration (PI) are the two main algorithms allowing one to solve these fixed point problems. However, in the case of large scale instances, or when we want to solve a mean payoff problem (where there is no discount factor for the payments received in the future), classical methods become slow.In the first part of this thesis, we develop two refinements of the classical value or policy iteration algorithms. We first propose an accelerated version of value iteration (AVI) allowing to solve affine fixed point problems with non self-adjoint matrices, alongside with an accelerated version of policy iteration (API) for MDP, building on AVI. This acceleration extends Nesterov accelerated gradient algorithm to a class of fixed point problems -- which cannot be interpreted in terms of convex programming. We characterize the spectra of matrices for which this algorithm does converge with an accelerated asymptotic rate. We also introduce an accelerated algorithm of degree d, and show that it yields a multiply accelerated rate of convergence under more demanding conditions on the spectrum of the matrices. Another contribution is a deflated version of value iteration (DVI) to solve the mean payoff version of stochastic games. This method allows one to transform a mean payoff problem to a discounted one under the hypothesis of existence of a distinguished state that is accessible from all other states and under all policies. Combining this deflation method with variance reduction techniques, we derive a sublinear algorithm solving mean payoff stochastic games.In the second part of this thesis, we study tropical best approximation problems. We first solve a tropical linear regression problem consisting in finding the best approximation of a set of points by a tropical hyperplane. We show that the value of this regression problem coincides with the maximal radius of a Hilbert's ball included in a tropical polyhedron, and that this problem is polynomial-time equivalent to mean payoff games. We apply these results to an inverse problem from auction theory. We study also a tropical analogue of low-rank approximation for matrices. This is motivated by approximate methods in dynamic programming, in which the value function is approximated by a supremum of elementary functions. We establish general properties of tropical low-rank approximation, and identify classes of low-rank approximation problems that are polynomial-time solvable. In particular, we show that the best tropical rank-one matrix approximation is equivalent to finding the minimal radius of a Hilbert's ball containing a tropical polyhedron.