Estimating Expertise from Eye Gaze and Emotions
Estimation du niveau d'expertise à partir du regard et des émotions
Résumé
In this thesis, we are concerned with enabling technologies for collaborative intelligent systems.Effective collaboration requires that both the human and the computer share an understanding of their respective roles and abilities.In particular, it requires an ability to monitor the intentions and awareness of the partner in order to determine appropriate actions and behaviors.Cognitive science has much to offer in such an effort.In recent decades, researchers in cognitive science have developed theories and models that describe human abilities for attention, awareness, understanding, and problem-solving.In this thesis, we explore how such theories can inform informatics to enable technologies for Collaborative Artificial Intelligence.In particular, we use observations of humans with different levels of expertise engaged in solving classic chess problems to explore the effectiveness of models for visual attention, awareness, understanding, and problem-solving.We have constructed an instrument for capturing and interpreting multimodal signals of humans engaged in solving problems using off-the-shelf commercially available components combined with in-house software.Our instrument makes it possible to record body posture, gestures, facial expressions, pupil dilation, eye-scan, and fixation, as well as player interactions with the chess problem.When combined with self-reports, these recordings make it possible to construct computer models for the awareness and understanding of the game situation during problem-solving using concepts and models from cognitive science literature.As a first experiment, chess players were recorded while engaged in problems of increasing difficulty.These recordings were used to estimate a participant’s awareness of the current situation and to predict the ability to respond effectively to threats and opportunities.Analysis of the recordings demonstrates how eye-gaze, body posture, and emotional features can be used to capture and model situation awareness.This experiment validated the use of our equipment as a general and reproducible tool for the study of participants engaged in screen-based interaction involving problem-solving and suggested improvements that were possible for future experiments.These initial experiments revealed an unexpected observation of rapid changes in emotion as players attempt to solve challenging problems.Attempts to explain this observation have led us to explore the role of emotion in reasoning during problem-solving.In the second part of the thesis, we review the literature on emotion and propose a cognitive model that describes how emotions influence the process by which subjects select chunks (concepts) for use in interpretation of a game situation.In particular, it is well known that problem-solving is strongly constrained by limits on the number of phenomena that can be considered at a time.To overcome this limit, human experts rely on abstraction to form new concepts (chunks) from emotionally salient phenomena.Our experiments indicate that emotion plays an important role, not only in the formation of concepts but also in the selection of concepts to use in reasoning.We hypothesize that expert players retain associations of concept with emotions in long-term memory and use these to guide the selection of concepts for reasoning.This view is in accordance with Damasio's Somatic Marker hypothesis (from 1991), which posits that emotions guide behavior, particularly when cognitive processes are overloaded.We present initial results from a follow-on experiment designed to explore the fidelity of our model and to search for evidence of the role of emotion in solving problems.Our model suggests that an association of emotions with recognized situations guides experts in their selection of partial game configurations for use in exploring the game tree.
Dans cette thèse, nous explorons comment de telles théories issues des sciences cognitives peuvent servir de base à l'informatique pour favoriser l'émergence des technologies d'intelligence artificielle collaborative.En particulier, nous utilisons l'observation d'humains ayant différents niveaux d'expertise engagés dans la résolution de problèmes d'échecs classiques pour explorer l'efficacité des modèles pour l'attention visuelle, la prise de conscience, la compréhension et la résolution de problèmes.Nous avons construit un instrument pour la capture et l'interprétation de signaux multimodaux d'humains engagés dans la résolution de problèmes.Notre instrument permet d'enregistrer la posture du corps, les gestes, les expressions faciales, la dilatation de la pupille et les trajectoires oculaires, ainsi que les interactions du joueur avec le problème des échecs.Combinés aux rapports verbaux des joueurs, ces enregistrements permettent de construire des modèles informatiques pour la prise de conscience et la compréhension de la situation de jeu lors de la résolution de problèmes en utilisant des concepts et des modèles issus de la littérature des sciences cognitives.Dans le cadre d'une première expérience, les joueurs d'échecs ont été enregistrés alors qu'ils étaient engagés dans des problèmes de difficulté croissante.Ces enregistrements ont été utilisés pour estimer la conscience qu'avait un participant de la situation actuelle et pour prédire la capacité à répondre efficacement aux menaces et aux opportunités.L'analyse des enregistrements montre comment le regard, la posture du corps et les caractéristiques émotionnelles peuvent être utilisés pour capturer et modéliser la conscience de la situation.Cette expérience a validé l'utilisation de notre équipement comme outil général et reproductible pour l'étude des participants engagés dans une interaction sur écran impliquant la résolution de problèmes et a suggéré des améliorations possibles pour de futures expériences.Ces premières expériences ont révélé une observation inattendue de changements rapides dans les émotions des joueurs qui tentent de résoudre des problèmes difficiles.Les tentatives d'explication de cette observation nous ont amenés à explorer le rôle de l'émotion dans le raisonnement lors de la résolution de problèmes.Dans la deuxième partie de la thèse, nous passons en revue la littérature sur les émotions et proposons un modèle cognitif qui décrit comment les émotions influencent le processus par lequel les sujets sélectionnent des éléments cognitives (concepts) à utiliser dans l'interprétation d'une situation de jeu.En particulier, il est bien connu que la résolution de problèmes est fortement contrainte par les limites du nombre de phénomènes qui peuvent être considérés à la fois.Pour surmonter cette limite, les experts humains s'appuient sur l'abstraction pour former de nouveaux concepts à partir de phénomènes émotionnellement marqués.Nos expériences indiquent que l'émotion joue un rôle important, non seulement dans la formation des concepts mais aussi dans la sélection de ceux-ci dans le raisonnement.Nous émettons l'hypothèse que les experts conservent les associations de concepts et d'émotions dans la mémoire à long terme et les utilisent pour guider la sélection des concepts pour le raisonnement.Ce point de vue est conforme à l'hypothèse du marqueur somatique de Damasio (de 1991), qui avance que les émotions guident le comportement, en particulier lorsque les processus cognitifs sont surchargés.Nous présentons les premiers résultats d'une expérience conçue pour explorer la fidélité de notre modèle et pour rechercher des preuves du rôle des émotions dans la résolution des problèmes.Notre modèle suggère qu'une association des émotions avec des situations reconnues guide les experts dans leur sélection de configurations de jeu partielles à utiliser pour explorer l'arbre de jeu.
Origine : Version validée par le jury (STAR)