Expliquer le comportement de robots distants à des utilisateurs humains : une approche orientée-agent

Explaining the Behavior of Remote Robots to Humans : An Agent-based Approach

• Auteur / Autrice : Yazan Mualla
• Direction : Stéphane Galland, Christophe Nicolle
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 30/11/2020
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : CIAD - Connaissance et Intelligence Artificielle Distribuées - Connaissance et Intelligence Artificielle Distribuées [Dijon] / CIAD
• Partenaire(s) de recherche : Etablissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : Abder Koukam
• Jury : Examinateurs / Examinatrices : Marie-Pierre Gleizes, Laurent Vercouter
• Jury : Rapporteurs / Rapporteuses : Eric T. Matson, Flavien Balbo

Mots clés

Mots clés contrôlés

Systèmes homme-machine

Intelligence artificielle répartie

Mots clés libres

Intelligence artificielle explicable

Systèmes multi-Agents

Interaction homme-Machine

Explainable Artificial Intelligence

Multi-Agent Systems

Human-Computer Interaction

Résumé

Avec l’émergence et la généralisation des systèmes d'intelligence artificielle, comprendre le comportement des agents artificiels, ou robots intelligents, devient essentiel pour garantir une collaboration fluide entre l'homme et ces agents. En effet, il n'est pas simple pour les humains de comprendre les processus qui ont amenés aux décisions des agents. De récentes études dans le domaine l’intelligence artificielle explicable, particulièrement sur les modèles utilisant des objectifs, ont confirmé qu'expliquer le comportement d’un agent à un humain favorise la compréhensibilité de l'agent par ce dernier et augmente son acceptabilité. Cependant, fournir des informations trop nombreuses ou inutiles peut également semer la confusion chez les utilisateurs humains et provoquer des malentendus. Pour ces raisons, la parcimonie des explications a été présentée comme l'une des principales caractéristiques facilitant une interaction réussie entre l’homme et l’agent. Une explication parcimonieuse est définie comme l'explication la plus simple et décrivant la situation de manière adéquate. Si la parcimonie des explications fait l'objet d'une attention croissante dans la littérature, la plupart des travaux ne sont réalisés que de manière conceptuelle.Dans le cadre d'une méthodologie de recherche rigoureuse, cette thèse propose un mécanisme permettant d’expliquer le comportement d’une intelligence artificielle de manière parcimonieuse afin de trouver un équilibre entre simplicité et adéquation. En particulier, il introduit un processus de formulation des explications, sensible au contexte et adaptatif, et propose une architecture permettant d’expliquer les comportements des agents à des humains (HAExA). Cette architecture permet de rendre ce processus opérationnel pour des robots distants représentés comme des agents utilisant une architecture de type Croyance-Désir-Intention.Pour fournir des explications parcimonieuses, HAExA s'appuie d'abord sur la génération d'explications normales et contrastées, et ensuite sur leur mise à jour et leur filtrage avant de les communiquer à l'humain. Nous validons nos propositions en concevant et menant des études empiriques d'interaction homme-machine utilisant la simulation orientée-agent. Nos études reposent sur des mesures bien établies pour estimer la compréhension et la satisfaction des explications fournies par HAExA. Les résultats sont analysés et validés à l'aide de tests statistiques paramétriques et non paramétriques.

With the widespread use of Artificial Intelligence (AI) systems, understanding the behavior of intelligent agents and robots is crucial to guarantee smooth human-agent collaboration since it is not straightforward for humans to understand the agent’s state of mind. Recent studies in the goal-driven Explainable AI (XAI) domain have confirmed that explaining the agent’s behavior to humans fosters the latter’s understandability of the agent and increases its acceptability. However, providing overwhelming or unnecessary information may also confuse human users and cause misunderstandings. For these reasons, the parsimony of explanations has been outlined as one of the key features facilitating successful human-agent interaction with a parsimonious explanation defined as the simplest explanation that describes the situation adequately. While the parsimony of explanations is receiving growing attention in the literature, most of the works are carried out only conceptually.This thesis proposes, using a rigorous research methodology, a mechanism for parsimonious XAI that strikes a balance between simplicity and adequacy. In particular, it introduces a context-aware and adaptive process of explanation formulation and proposes a Human-Agent Explainability Architecture (HAExA) allowing to make this process operational for remote robots represented as Belief-Desire-Intention agents. To provide parsimonious explanations, HAExA relies first on generating normal and contrastive explanations and second on updating and filtering them before communicating them to the human.To evaluate the proposed architecture, we design and conduct empirical human-computer interaction studies employing agent-based simulation. The studies rely on well-established XAI metrics to estimate how understood and satisfactory the explanations provided by HAExA are. The results are properly analyzed and validated using parametric and non-parametric statistical testing.