Méthodes d'apprentissage statistique pour la régression et l'optimisation globale de mesures de risque

Machine learning algorithms for regression and global optimization of risk measures

• Auteur / Autrice : Léonard Torossian
• Direction : Aurélien Garivier, Robert Faivre, Victor Picheny
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 17/12/2019
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)

Mots clés

Mots clés contrôlés

Analyse de régression

Statistique bayésienne

Évaluation du risque

Mots clés libres

Fonction boîte noire stochastique

Mesure de risque

Métamodèle

Optimisation bandit

Optimisation bayésienne

Regret simple

Inférence variationnelle

Stochastic black box function

Measure of risk

Metamodel

Bandit op- timisation

Bayesian optimisation

Simple regret

Variational inference

Résumé

Cette thèse s'inscrit dans le contexte général de l'estimation et de l'optimisation de fonctions de type boîte noire dont la sortie est une variable aléatoire. Motivé par la nécessité de quantifier l'occurrence d'événements extrêmes dans des disciplines comme la médecine, l'agriculture ou la finance, dans cette thèse des indicateurs sur certaines propriétés de la distribution en sortie, comme la variance ou la taille des queues de dis- tribution, sont étudiés. De nombreux indicateurs, aussi connus sous le nom de mesure de risque, ont été proposés dans la littérature ces dernières années. Dans cette thèse nous concentrons notre intérêt sur les quantiles, CVaR et expectiles. Dans un premier temps, nous comparons les approches K-plus proches voisins, forêts aléatoires, régression dans les RKHS, régression par réseaux de neurones et régression par processus gaussiens pour l'estimation d'un quantile conditionnel d'une fonction boite noire. Puis, nous proposons l'utilisation d'un modèle de régression basé sur le couplage de deux processus gaussiens estimés par une méthode variationnelle. Nous montrons que ce modèle, ini- tialement développé pour la régression quantile, est facilement adaptable à la régression d'autres mesures de risque. Nous l'illustrons avec l'expectile. Dans un second temps, nous analysons le problème relatif à l'optimisation d'une mesure de risque. Nous proposons une approche générique inspirée de la littérature X-armed bandits, permettantde fournir un algorithme d'optimisation, ainsi qu'une borne supérieure sur le regret, adaptable au choix de la mesure de risque. L'applicabilité de cette approche est illustrée par l'optimisation d'un quantile ou d'une CVaR. Enfin, nous proposons des algorithmes d'optimisation utilisant des processus gaussiens associés aux stratégies UCB et Thompson sampling, notre objectif étant l'optimisation d'un quantile ou d'un expectile.

This thesis presents methods for estimation and optimization of stochastic black box functions. Motivated by the necessity to take risk-averse decisions in medecine, agriculture or finance, in this study we focus our interest on indicators able to quantify some characteristics of the output distribution such as the variance or the size of the tails. These indicators also known as measure of risk have received a lot of attention during the last decades. Based on the existing literature on risk measures, we chose to focus this work on quantiles, CVaR and expectiles. First, we will compare the following approaches to perform quantile regression on stochastic black box functions: the K-nearest neighbors, the random forests, the RKHS regression, the neural network regression and the Gaussian process regression. Then a new regression model is proposed in this study that is based on chained Gaussian processes inferred by variational techniques. Though our approach has been initially designed to do quantile regression, we showed that it can be easily applied to expectile regression. Then, this study will focus on optimisation of risk measures. We propose a generic approach inspired from the X-armed bandit which enables the creation of an optimiser and an upper bound on the simple regret that can be adapted to any risk measure. The importance and relevance of this approach is illustrated by the optimization of quantiles and CVaR. Finally, some optimisation algorithms for the conditional quantile and expectile are developed based on Gaussian processes combined with UCB and Thompson sampling strategies.