Détection et intégration des réactions affectives dans les systèmes interactifs distribués

Detection and integration of affective feedback into distributed interactive systems

• Auteur / Autrice : Ovidiu Mircea Şerban
• Direction : Jean-Pierre Pecuchet, Horia Florin Pop, Alexandre Pauchet, Alexandrina Rogozan
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/09/2013
• Etablissement(s) : Rouen, INSA en cotutelle avec Universitatea Babeș-Bolyai (Cluj-Napoca, Roumanie)
• Ecole(s) doctorale(s) : École doctorale sciences physiques mathématiques et de l'information pour l'ingénieur (Saint-Etienne-du-Rouvray, Seine-Maritime ; ....-2016)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de traitement de l'information et des systèmes (Saint-Etienne du Rouvray, Seine-Maritime ; 2006-...)
• Jury : Président / Présidente : Catherine Pelachaud
• Jury : Rapporteurs / Rapporteuses : Jean-Yves Antoine, Dan Cristea, Crina Groşan

Mots clés

Mots clés contrôlés

Intelligence artificielle

Cartes auto-organisatrices

Traitement automatique du langage naturel

Interaction humain-machine

Mots clés libres

Rétroaction affective

Interaction humain-machine

Détection d'émotions

Dictionnaires contextualisés

Environnement de narration d’histoires

Systèmes interactifs distribués

Affective Feedback

Human-Computer Interaction

Emotion Detection

Contextualised Dictionaries

Storytelling Environment

Distributed Interactive Systems

Résumé

L’Interaction Humain-Machine a évolué d’une perspective classique vers un environnement plus naturel, dans lequel les humains peuvent utiliser la langue naturelle pour échanger des connaissances avec un ordinateur. Pour bien “comprendre” les intentions de l’humain, l’ordinateur doit être capable de détecter les émotions et de répondre en conséquence. Cette thèse porte sur plusieurs aspects de la détection des émotion humaines, en partant de différentes techniques de détection jusqu’à leur intégration dans un Système Interactif Distribué. Les émotions sont un concept flou et leur perception par des individus humains peut aussi varier. Par conséquent, cela rend le problème de détection très difficile en informatique. Du point vue de la détection de l’affect, nous avons proposé trois approches différentes : une méthode à base de Cartes Auto-Organisatrices (Self Organizing Maps- SOM), un classifieur de la valence basé sur des caractéristiques multi-modales et un Séparateur à Vaste Marge (Support Vector Machines - SVM) et une technique pour résoudre les conflits dans un dictionnaire affectif (SentiWordNet). En outre, du point de vue de l’intégration aux systèmes, deux questions sont abordées : une expérience de type Magicien d’Oz dans un environnement de narration d’histoires pour enfants et une architecture de Système Interactif Distribué.

Human-Computer Interaction migrates from the classic perspective to a more natural environment, where humans are able to use natural language to exchange knowledge with a computer. In order to fully “understand” the human’s intentions, the computer should be able to detect emotions and reply accordingly. This thesis focuses on several issues regarding the human affects, from various detection techniques to their integration into a Distributed Interactive System. Emotions are a fuzzy concept and their perception across human individuals may vary as well. Therefore, this makes the detection problem very difficult for a computer. From the affect detection perspective, we proposed three different approaches: an emotion detection method based on Self Organizing Maps, a valence classifier based on multi-modal features and Support Vector Machines, and a technique to resolve conflicts into a well known affective dictionary (SentiWordNet). Moreover, from the system integration perspective, two issues are approached: a Wizard of Oz experiment in a children storytelling environment and an architecture for a Distributed Interactive System.