Analyse et étude des processus markoviens décisionnels

A study of Markov decision processes

• Auteur / Autrice : Christophe Nivot
• Direction : François Dufour, Benoîte de Saporta
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 19/05/2016
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux)
• Jury : Président / Présidente : Jérôme Saracco
• Jury : Examinateurs / Examinatrices : A. O. Charles Elegbede
• Jury : Rapporteurs / Rapporteuses : Antoine Grall, Nikolaos Limnios

Mots clés

Mots clés contrôlés

Arrêt optimal (statistique mathématique)

Optimisation mathématique

Intégration numérique

Prise de décision

Markov, Processus de

Mots clés libres

Processus markoviens décisionnels

Optimisation

Modélisation

Méthodes probabilistes

Simulation

Arrêt optimal

Quantification

Markov decision processes

Optimization

Modeling

Probabilistic methods

Simulation

Optimal stopping

Quantization

Résumé

Nous explorons l'étendue du champ applicatif des processus markoviens décisionnels au travers de deux problématiques. La première, de nature industrielle, propose l'étude numérique de l'optimisation d'un processus d'intégration lanceur en collaboration avec Airbus DS. Il s'agit d'un cas particulier des problèmes de gestion d'inventaire dans lequel un calendrier de tirs joue un rôle central. La modélisation adoptée entraîne l'impossibilité d'appliquer les procédures d'optimisation classiques liées au formalisme des processus markoviens décisionnels. Nous étudions alors des algorithmes basés sur des simulations qui rendent des stratégies optimales non triviales et qui sont utilisables dans la pratique. La deuxième problématique, de nature théorique, se concentre sur les questions d'arrêt optimal partiellement observables. Nous proposons une méthode d'approximation par quantification de ces problèmes lorsque les espaces d'états sont quelconques. Nous étudions la convergence de la valeur optimale approchée vers la valeur optimale réelle ainsi que sa vitesse. Nous appliquons notre méthode à un exemple numérique.

We investigate the potential of the Markov decision processes theory through two applications. The first part of this work is dedicated to the numerical study of an industriallauncher integration process in co-operation with Airbus DS. It is a particular case of inventory control problems where a launch calendar has a key role. The model we propose implies that standard optimization techniques cannot be used. We then investigate two simulation-based algorithms. They return non trivial optimal policies which can be applied in actual practice. The second part of this work deals with the study of partially observable optimal stopping problems. We propose an approximation method using optimal quantization for problems with general state space. We study the convergence of the approximated optimal value towards the real optimal value. The convergence rate is also under study. We apply our method to a numerical example.