Programmation et apprentissage bayésien pour les jeux vidéo multi-joueurs, application à l'intelligence artificielle de jeux de stratégies temps-réel

Bayesian Programming and Learning for Multi-Player Video Games, Application to RTS AI

• Auteur / Autrice : Gabriel Synnaeve
• Direction : Pierre Bessière
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 24/10/2012
• Etablissement(s) : Grenoble
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire d'informatique de Grenoble
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble
• Jury : Président / Présidente : Augustin Lux
• Jury : Examinateurs / Examinatrices : Pierre Bessière, Marc Schoenauer
• Jury : Rapporteurs / Rapporteuses : Stuart Russell, Philippe Leray

Mots clés

Mots clés contrôlés

Statistique bayésienne

Mots clés libres

Apprentissage artificiel

Probabilités

Modélisation bayésienne

Modélisation de l'humain

Jeux vidéo

Machine learning

Probabilities

Bayesian modeling

Human modeling

Video game

Résumé

Cette thèse explore l'utilisation des modèles bayésiens dans les IA de jeux vidéo multi-joueurs, particulièrement l'IA des jeux de stratégie en temps réel (STR). Les jeux vidéo se situent entre la robotique et la simulation totale, car les autres joueurs ne sont pas simulés, et l'IA n'a pas de contrôle sur la simulation. Les jeux de STR demandent simultanément d'effectuer des actions reactives (contrôle d'unités) et de prendre des décisions stratégiques (technologiques, économiques) et tactiques (spatiales, temporelles). Nous avons utilisé la modélisation bayésienne comme une alternative à la logique (booléenne), étant capable de travailler avec des informations incomplètes, et donc incertaines. En effet, la spécification incomplète des comportement "scriptés", ou la spécification incomplète des états possibles dans la recherche de plans, demandent une solution qui peut gérer cette incertitude. L'apprentissage artificiel aide à réduire la complexité de spécifier de tels modèles. Nous montrons que la programmation bayésienne peut intégrer toutes sortes de sources d'incertitudes (états cachés, intentions, stochasticité) par la réalisation d'un joueur de StarCraft complètement robotique. Les distributions de probabilité sont un moyen de transporter, sans perte, l'information que l'on a et qui peut représenter au choix: des contraintes, une connaissance partielle, une estimation de l'espace des états et l'incomplétude du modèle lui-même. Dans la première partie de cette thèse, nous détaillons les solutions actuelles aux problèmes qui se posent lors de la réalisation d'une IA de jeu multi-joueur, en donnant un aperçu des caractéristiques calculatoires et cognitives complexes des principaux types de jeux. En partant de ce constat, nous résumons les catégories transversales de problèmes, et nous introduisons comment elles peuvent être résolues par la modélisation bayésienne. Nous expliquons alors comment construire un programme bayésien en partant de connaissances et d'observations du domaine à travers un exemple simple de jeu de rôle. Dans la deuxième partie de la thèse, nous détaillons l'application de cette approche à l'IA de STR, ainsi que les modèles auxquels nous sommes parvenus. Pour le comportement réactif (micro-management), nous présentons un controleur multi-agent décentralisé et temps réel inspiré de la fusion sensori-motrice. Ensuite, nous accomplissons les adaptation dynamiques de nos stratégies et tactiques à celles de l'adversaire en le modélisant à l'aide de l'apprentissage artificiel (supervisé et non supervisé) depuis des traces de joueurs de haut niveau. Ces modèles probabilistes de joueurs peuvent être utilisés à la fois pour la prédiction des décisions/actions de l'adversaire, mais aussi à nous-même pour la prise de décision si on substitue les entrées par les notres. Enfin, nous expliquons l'architecture de notre joueur robotique de StarCraft, et nous précisions quelques détails techniques d'implémentation. Au delà des modèles et de leurs implémentations, il y a trois contributions principales: la reconnaissance de plan et la modélisation de l'adversaire par apprentissage artificiel, en tirant partie de la structure du jeu, la prise de décision multi-échelles en présence d'informations incertaines, et l'intégration des modèles bayésiens au contrôle temps réel d'un joueur artificiel.

This thesis explores the use of Bayesian models in multi-player video games AI, particularly real-time strategy (RTS) games AI. Video games are an in-between of real world robotics and total simulations, as other players are not simulated, nor do we have control over the simulation. RTS games require having strategic (technological, economical), tactical (spatial, temporal) and reactive (units control) actions and decisions on the go. We used Bayesian modeling as an alternative to (boolean valued) logic, able to cope with incompleteness of information and (thus) uncertainty. Indeed, incomplete specification of the possible behaviors in scripting, or incomplete specification of the possible states in planning/search raise the need to deal with uncertainty. Machine learning helps reducing the complexity of fully specifying such models. We show that Bayesian programming can integrate all kinds of sources of uncertainty (hidden state, intention, stochasticity), through the realization of a fully robotic StarCraft player. Probability distributions are a mean to convey the full extent of the information we have and can represent by turns: constraints, partial knowledge, state space estimation and incompleteness in the model itself. In the first part of this thesis, we review the current solutions to problems raised by multi-player game AI, by outlining the types of computational and cognitive complexities in the main gameplay types. From here, we sum up the transversal categories of prob- lems, introducing how Bayesian modeling can deal with all of them. We then explain how to build a Bayesian program from domain knowledge and observations through a toy role-playing game example. In the second part of the thesis, we detail our application of this approach to RTS AI, and the models that we built up. For reactive behavior (micro-management), we present a real-time multi-agent decentralized controller inspired from sensory motor fusion. We then show how to perform strategic and tactical adaptation to a dynamic opponent through opponent modeling and machine learning (both supervised and unsupervised) from highly skilled players' traces. These probabilistic player-based models can be applied both to the opponent for prediction, or to ourselves for decision-making, through different inputs. Finally, we explain our StarCraft robotic player architecture and precise some technical implementation details. Beyond models and their implementations, our contributions are threefolds: machine learning based plan recognition/opponent modeling by using the structure of the domain knowledge, multi-scale decision-making under uncertainty, and integration of Bayesian models with a real-time control program.