Apprentissage incrémental en données : Application à la reconnaissance d'émotions personnalisée

Incremental learning in data : Application to personalized emotion recognition

• Auteur / Autrice : Jordan Gonzalez
• Direction : Lionel Prévost, Aurélia Deshayes
• Type : Thèse de doctorat
• Discipline(s) : Informatique-traitement du signal
• Date : Soutenance le 25/10/2022
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique et Société Numérique - Laboratoire Informatique et Société Numérique
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure d'arts et métiers (1780-....)
• Jury : Président / Présidente : Renaud Séguier
• Jury : Examinateurs / Examinatrices : Lionel Prévost, Aurélia Deshayes, Éric Anquetil, Laurent Heutte, Simon Richir
• Jury : Rapporteurs / Rapporteuses : Éric Anquetil, Laurent Heutte

Mots clés

Mots clés contrôlés

Traceurs numériques incrémentaux

Thèses et écrits académiques

Informatique affective

Mots clés libres

Informatique affective

Apprentissage incrémental

Apprentissage semi-Supervisé

Affective computing

Incremental learning

Semi-Supervised learning

Résumé

Le domaine de l'informatique affective, en plein essor depuis quelques décennies, a pour objectif de créer de nouveaux systèmes interactifs capables de percevoir l'état émotionnel de leurs interlocuteurs humains et de s'y adapter automatiquement.Il est de plus en plus fréquent que les datasets ne soient plus disponibles de manière complète et que les données arrivent au fur et à mesure, sans être forcément labélisées.De plus, bien que bon nombre de solutions aient été présentées pour caractériser de mieux en mieux les données, les performances des modèles pour la reconnaissance d’émotions demeurent souvent dépendantes de la variabilité individuelle chez les individus. En effet, certaines personnes sont susceptibles d'avoir des morphologies plus ou moins différentes selon l'âge, le genre, etc. D’autant plus que d’un point de vue comportemental, deux individus sont susceptibles d'exprimer un même état émotionnel différemment. Ces biais morphologiques et comportementaux sont réunis sous le terme de biais d'identité qui représente un des défis majeurs pour ce domaine.Les objectifs de cette thèse sont d’adapter automatiquement des modèles de textit{machine learning} aux traits morphologiques et comportementaux de l’individu afin de réduire le biais d'identité, et ainsi améliorer la reconnaissance de leurs états émotionnels.Pour cela, nous proposons d’appliquer l'apprentissage incrémental en données de modèles inspirés des forêts aléatoires afin de créer une méthode qui permette au modèle de s'adapter à différentes bases de données. L'une des principales caractéristiques des techniques incrémentales est la possibilité de mettre à jour les modèles en utilisant uniquement des données récentes. C'est souvent la seule solution pratique lorsqu'il s'agit d'apprendre des données "à la volée", car il serait impossible de garder en mémoire et de réapprendre à partir de zéro chaque fois que de nouvelles informations sont disponibles.Dans une première partie, nous présentons une analyse réalisée au début de la thèse sur les données du projet TEEC. Les données sont collectées à partir des interactions par visioconférence impliquant deux groupes d'apprenants effectuant des tâches d'apprentissage collaboratif à distance. Du fait qu'ils vivent dans deux pays différents, leurs représentations mentales sur divers thèmes sont différentes et produisent ce que nous appelons un effet de contexte ou conflit socio-cognitif. Nous étudions ces interactions et essayons de trouver une corrélation entre les états affectifs non verbaux et les échanges verbaux, reflétant le degré de (mauvaise) compréhension.Dans une deuxième partie, nous proposons de spécialiser, via l’incrémentation, un modèle générique à un ensemble fini d’individus à l’aide de données labélisées (de façon supervisée) pour gérer la problématique du biais d’identité. Le modèle Nearest Class Mean Forest (NCMF) peut faire de l’apprentissage incrémental, cependant, les stratégies existantes ne permettent pas de gérer des données complexes dont les distributions conditionnellement aux classes comportent plusieurs modes. À cet effet, nous proposons une stratégie incrémentale s’appuyant sur un critère statistique de séparabilité des modes de la distribution locale, qui va permettre de mettre à jour le centroïde du nœud ou d’en créer un nouveau, si cela s’avère nécessaire.Nous explorons également la possibilité de pouvoir intégrer un pipeline permettant de réaliser l'incrémentation de manière semi-supervisée afin de répondre à la problématique de la labélisation. Nous proposons à cet égard une méthode hybride qui combine le co-training et l'apprentissage incrémental, permettant à deux modèles de collaborer et de partager leurs connaissances. Contrairement à la méthode classique de cotraining qui effectue un ré-entraînement à partir de zéro à chaque itération de l'algorithme, notre approche effectue une incrémentation du modèle en continu sur de nouvelles observations.

The field of affective computing, which has been growing rapidly over the last few decades, aims to create new interactive systems that are able to perceive the emotional state of their human interlocutors and adapt to them automatically.It is quite common that datasets are no longer fully available, and that data arrives gradually, without necessarily being labeled.Moreover, although many solutions have been presented to better describe the data, the performance of the models for emotion recognition is often dependent on individual variability in the people. Indeed, some individuals are likely to have different morphologies according to age, gender, etc. Moreover, from a behavioral point of view, two individuals are likely to express the same emotional state differently. These morphological and behavioral biases are grouped under the term identity bias which represents one of the major challenges for this field.The objectives of this thesis are to automatically adapt machine learning models to the morphological and behavioral traits of the individual in order to reduce the identity bias and thus improve the recognition of their emotional states.For this purpose, we propose to apply incremental learning in random forest-based models in order to create a method that allows the model to adapt to different databases. A key feature of incremental techniques is the ability to update models using only recent data. This is often the only practical solution when it comes to learning streaming data, as it would be impossible to keep track of and relearn from scratch every time new information becomes available.In a first part, we present an analysis performed at the beginning of the thesis on the TEEC project data. The data is collected from video conference interactions involving two groups of learners performing collaborative distance learning tasks. Because they live in two different countries, their mental representations on various topics are different and produce what we call a context effect or social cognitive conflict. We study these interactions and try to find a correlation between non-verbal affective states and verbal exchanges, reflecting the degree of (mis)understanding.In a second part, we propose to specialize, through incrementation, a generic model to a finite set of individuals, using labeled data (in a supervised way) to deal with the identity bias problem. The Nearest Class Mean Forest (NCMF) model can do incremental learning; however, existing strategies do not handle complex data whose class-conditional distributions have multiple modes. To this end, we propose an incremental strategy based on a statistical criterion of separability of the modes of the local distribution, which will update the centroid of the node or create a new one, if necessary.We also explore the possibility of integrating a pipeline allowing to perform the incrementation in a semi-supervised way to address the problem of labeling. In this respect, we propose a hybrid method that combines co-training and incremental learning, allowing two models to collaborate and share their knowledge. Contrary to the classical co-training method which performs a re-training from scratch at each iteration of the algorithm, our approach performs a continuous incrementation of the model on new observations.