Bandits Bilinéaires Graphiques Stochastiques

Stochastic Graphical Bilinear Bandits

• Auteur / Autrice : Geovani Rizk
• Direction : Yann Chevaleyre, Rida Laraki
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 26/10/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (Paris) - Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision / LAMSADE
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris Dauphine-PSL (1968-....)
• Partenaire(s) de recherche : Entreprise : Hua wei ji shu you xian gong si
• Jury : Président / Présidente : Gilles Stoltz
• Jury : Examinateurs / Examinatrices : Yann Chevaleyre, Rida Laraki, Gilles Stoltz, Émilie Kaufmann, Panayotis Mertikopoulos, Marta Soare, Vianney Perchet
• Jury : Rapporteurs / Rapporteuses : Émilie Kaufmann, Panayotis Mertikopoulos
• DOI : 10.70675/637a167czbdfbz4644z8ddazdedcfcc1eca0

Mots clés

Mots clés contrôlés

Problème du bandit manchot

Modèles stochastiques d'apprentissage

Analyse séquentielle

Mots clés libres

Apprentissage séquentiel

Bandits Bilinéaires Graphiques

Multi-Agents

Sequential learning

Graphical Bilinear Bandits

Multi-Agents

Résumé

Nous introduisons un nouveau modèle appelé Bandits Bilinéaires Graphiques où un apprenant (ou une entité centrale) alloue des bras aux noeuds d’un graphe et observe pour chaque arête une récompense bilinéaire bruitée représentant l’interaction entre les deux noeuds associés. Dans cette thèse, nous étudions le problème d’identification du meilleur bras et la maximisation des récompenses cumulées. Pour le premier, un apprenant veut trouver l’allocation du graphe maximisant la somme des récompenses bilinéaires obtenues à travers le graphe. Pour le second problème, au cours du processus d’apprentissage, l’apprenant doit faire un compromis entre l’exploration des bras pour acquérir une connaissance précise de l’environnement et l’exploitation des bras qui semblent être les meilleurs pour obtenir la récompense la plus élevée. Quel que soit l’objectif de l’apprenant, le modèle de bandits bilinéaires graphiques révèle un problème combinatoire sous-jacent qui est NP-Dur et qui empêche l’utilisation de tout algorithme existant pour l’identification du meilleur bras (BAI) ou pour la maximisation des récompenses cumulées. Pour cette raison, nous proposons tout d’abord un algorithme d’α-approximation pour le problème NP-Dur sous-jacent, puis nous nous attaquons aux deux problèmes mentionnés ci-dessus. En exploitant efficacement la géométrie du problème du bandit, nous proposons une stratégie d’échantillonnage aléatoire pour le problème BAI avec des garanties théoriques. En particulier, nous caractérisons l’influence de la structure du graphe (par exemple, étoile, complet ou cercle) sur le taux de convergence et proposons des expériences empiriques qui confirment cette dépendance. Pour le problème de la maximisation des récompenses cumulées, nous présentons le premier algorithme basé sur le regret pour les bandits bilinéaires graphiques utilisant le principe d’optimisme face à l’incertitude. L’analyse théorique de la méthode présentée borne l’α-regret par Õ(√T ) et souligne l’impact de la structure du graphe sur le taux de convergence. Enfin, nous démontrons par diverses expériences la validité de nos approches.

We introduce a new model called Graphical Bilinear Bandits where a learner (or a central entity) allocates arms to nodes of a graph and observes for each edge a noisy bilinear reward representing the interaction between the two end nodes. In this thesis, we study the best arm identification problem and the maximization of cumulative rewards. For the first problem, a learner wants to find the graph allocation maximizing the sum of the bilinear rewards obtained through the graph. For the second problem, during the learning process, the learner has to make a trade-off between exploring the arms to gain accurate knowledge of the environment and exploiting the arms that appear to be the bests to obtain the highest reward. Regardless of the learner’s goal, the graphical bilinear bandit model reveals an underlying NP-Hard combinatorial problem that precludes the use of any existing best arm identification (BAI) or regret-based algorithms. For this reason, we first propose an α-approximation algorithm for the underlying NP-hard problem, and then tackle the two problems mentioned above. By efficiently exploiting the geometry of the bandit problem, we propose a random sampling strategy for the BAI problem with theoretical guarantees. In particular, we characterize the influence of the graph structure (e.g., star, complete or circle) on the convergence rate and propose empirical experiments that confirm this dependence. For the problem of maximizing the cumulative rewards, we present the first regret-based algorithm for graphical bilinear bandits using the principle of optimism in the face of uncertainty. Theoretical analysis of the presented method gives an upper bound of Õ(√T ) on the α-regret and highlights the impact of the graph structure on the convergence rate. Finally, we demonstrate by various experiments the validity of our approaches.