Reconnaissance d’états émotionnels à partir des interactions avec un smartphone : Conception des méthodes et outils pour le domaine de la relation client

Emotion recognition through interaction with smartphone : Design of methods and tools for the field of customer relations

• Auteur / Autrice : Nicolas Simonazzi
• Direction : Jean-Marc Salotti
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Soutenance le 19/11/2021
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Jury : Président / Présidente : Bernard Claverie
• Jury : Examinateurs / Examinatrices : Jean-Marc Salotti, Bernard Claverie, Édith Galy-Marie, Mickaël Causse, Anna Tcherkassof
• Jury : Rapporteurs / Rapporteuses : Édith Galy-Marie, Mickaël Causse

Mots clés

Mots clés contrôlés

Smartphones

Apprentissage automatique

Systèmes homme-machine

Informatique affective

Reconnaissance automatique des émotions

Mots clés libres

Reconnaissance d’émotions

Informatique affective

Interaction homme-Machine

Apprentissage automatique

Relation client

Smartphone

Emotions Recognition

Affective computing

Human-System Interface

Machine Learning

Customer Relationship

Smartphone

Résumé

L’idée de cette thèse est née dans l’entité Orange Labs Service de l’entreprise de télécommunication Orange. L’objectif de ce projet de recherche est d’améliorer la qualité de la relation client de l’entreprise par une meilleure compréhension des émotions des clients.Les émotions sont essentielles à comprendre en situation de communication. En effet, elles sont indispensables pour s’adapter et identifier les intentions d’un interlocuteur. De plus, les smartphones représentent un nouveau moyen de communication privilégié pour dialoguer avec des conseillers clients ou des agents conversationnels (chatbot), notamment par l’intermédiaire de messageries instantanées textuelles. Cependant, ces moyens de communication coupent les interlocuteurs de nombreuses modalités pour exprimer leurs états émotionnels, tels que les expressions non verbales.L’objectif de cette thèse est donc d’explorer la possibilité de reconnaitre des émotions de manière automatique et non invasive. Dans un premier temps, nous avons étudié les théories existantes dans la science des émotions. Nous avons fondé notre cadre théorique, à partir de la théorie de l’évaluation cognitive et du modèle des processus-composant, afin d’identifier les composantes associées à l’expression d’états émotionnels. Dans un second temps, nous avons réalisé une revue de littérature des méthodes utilisées dans le domaine de l’informatique affective, pour concevoir des systèmes de reconnaissance automatiques d’émotions.À l’issue de ces recherches, nous avons fait le choix de mesurer la composante de l’expression motrice des états émotionnels à partir des capteurs inertiels (accéléromètre et gyroscope) et des interactions avec le clavier du smartphone. L’apport de cette thèse concerne, notamment, la conception et le développement d’outils pour réaliser des expérimentations sur smartphone et pour enregistrer les données nécessaires. Une application d’expérimentation a ainsi été développée, sous un format de messagerie instantanée, pour induire des émotions chez les utilisateurs et enregistrer les données nécessaires.Plusieurs méthodologies d’induction d’émotions ont été testées en laboratoire, afin de recueillir des données comportementales à partir des capteurs de smartphones. Les données ont été labellisées à partir des auto-évaluations des participants. À la suite du traitement des signaux temporels, nous avons généré un corpus de données utilisables pour de l’apprentissage automatique. Ce corpus a permis d’entraîner et d’évaluer des modèles de classification supervisée par apprentissage automatique. Des modèles de classification inter-personnels et intra-personnels ont été créés pour classifier des niveaux de valence déclarés par les sujets des expérimentations. Les résultats montrent une forte variabilité de performance de classification en fonction des participants.

The idea of this thesis came from the Orange Labs Service entity in the telecommunication company Orange. The objective of the research project is to improve the quality of the company’s support services through a better understanding of customers’ emotions. Emotions are essential to be considered in a communication situation.Indeed, they are necessary to adapt to and understand the intentions of a conversational partner. Moreover, smartphones represent a new medium for communicating with customer advisors or chatbot, especially through instant messaging. However, these means of communication deprive the interlocutors of many ways to express their emotional states, such as non-verbal expressions.The objective of this thesis is therefore to explore the feasibility of recognizing emotions in an automatic and non-invasive way. First, we explored the existing theories in the science of emotions. We based our theoretical framework on the theory of cognitive appraisal and the process-component model in order to identify the components associated with the expression of emotional states. Then, we conducted a literature review of the methods used in the field of affective computing to design automatic emotion recognition systems.As a result of this research, we have decided to measure the motor expression com ponent of emotional states using inertial sensors (accelerometer and gyroscope) and interactions with the smartphone keyboard. The contribution of this thesis concerns, among other things, the design and development of tools to perform experiments on a smartphone and to record the necessary data. An experimentation application was developed, under an instant messaging format, to induce emotions and to record the necessary data.Several emotion induction methodologies were tested in the laboratory to collect interaction data from smartphone sensors. The data were labeled according to the participants’ self-report. Following the processing of the temporal signals, we generated a corpus of data suitable for machine learning. This corpus was used to train and evaluate supervised classification models by machine learning. Inter-personal and intra-personal classification models were created to classify self-reported valence levels. The results show a high degree of variability in classification performance across participants.