Évaluation de la qualité des comportements des agents en simulation : application à un simulateur de conduite en environnement virtuel

par Kevin Darty

Thèse de doctorat en Informatique - Intelligence Artificielle

Sous la direction de Nicolas Sabouret et de Julien Saunier.

Soutenue le 07-07-2015

à Paris 6 , dans le cadre de École doctorale Informatique, télécommunications et électronique (Paris) , en partenariat avec Laboratoire d'Informatique de Paris 6 / LIP6 (laboratoire) .

Le jury était composé de Pierre Chevaillier, Amélie Cordier, Amal El Fallah, Domitile Lourdeaux, Philippe Mathieu, Mahdi Zargayouna.


  • Résumé

    Cette thèse se situe dans le contexte de la Simulation Multi-Agent et s'intéresse à l'évaluation de la capacité des agents à reproduire des comportements humains. Cette problématique se retrouve dans de nombreux domaines comme la Réalité Virtuelle et les Agents Conversationnels Animés. L'approche dominante s'appuie sur l'utilisation de questionnaires de Sciences Humaines et Sociales (SHS). Il existe peu d'approches exploitant l'analyse automatique de données utilisée en Intelligence Artificielle (IA) à l'échelle microscopique. Nous montrons dans cette thèse que l'évaluation gagne à exploiter conjointement ces deux approches. Nous exposons une méthode d'évaluation de la qualité des comportements des agents qui combine l'approche d'IA et celle de SHS. La première est basée sur la classification de traces de simulation. La seconde évalue les utilisateurs par une annotation des comportements. Nous présentons ensuite un algorithme de comparaison des agents par rapport aux humains afin d'évaluer les capacités, les manques et les erreurs du modèle d'agent et fournissons des métriques. Puis nous explicitons ces comportements en nous appuyant sur les catégories d'utilisateur. Enfin, nous exposons un cycle de calibration automatique des agents et une exploration de l'espace des paramètres. Notre méthode d'évaluation est utilisable dans le but d'analyser un modèle d'agent et de comparer plusieurs modèles d'agent. Nous avons appliqué cette méthodologie sur plusieurs études du comportement de conduite en vue d'analyser la simulation de trafic routier ARCHISIM et nous présentons les résultats obtenus.

  • Titre traduit

    Evaluation of the agents' behavior quality in simulation : application to a driving simulator in virtual environment


  • Résumé

    This thesis is in the context of the Multi-Agents Simulation and is interested in evaluating the ability of agents to reproduce human behaviors. This problem appears in many domains such as Virtual Reality and Embodied Conversational Agents. The dominant approach to evaluate these behaviors uses Social Sciences questionnaires. There are only few approaches based on Artificial Intelligence and automatic data analysis at the microscopic scale. We show in this thesis that the evaluation of behavior can benefit from both approaches when used jointly. First, we present a method for evaluating the agents' behavior quality. It combines the Artificial Intelligence approach and the Social Science approach. The first one is based on simulation logs clustering. The second one evaluates the users by an annotation of the behaviors. We then present an algorithm that compare agents to humans in order to assess the capacities, the lacks, and the errors in the agent model, and provide metrics. We then make these behaviors explicite based on user categories. Finally, we present a cycle for automatic calibration of the agents and an exploration of the parameter space. Our evaluation method is usable for the analysis of an agent model, and for comparing several agent models. We applied this methodology on several driver behavior studies to analyse the road traffic simulation ARCHISIM, and we present the obtained results.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Sorbonne Université. Bibliothèque de Sorbonne Université. Bibliothèque numérique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.