Modélisation automatisée du toucher social dans l'interaction homme-machine

Automated modeling of social touch in human-machine interaction

• Auteur / Autrice : Wail El Bani
• Direction : Mohamed Chetouani
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 07/05/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Malika Auvray
• Jury : Examinateurs / Examinatrices : Gilles Bailly, Indira Thouvenin
• Jury : Rapporteurs / Rapporteuses : Mehdi Ammi, Dirk Heylen

Mots clés

Mots clés contrôlés

Interaction humain-machine

Reconnaissance gestuelle

Simulation, Méthodes de

Toucher

Mots clés libres

Toucher social

Reconnaissance de gestes tactile

Imitation

Informatique affective

Collecte de données

Interaction homme-machine

Social touch

Touch gesture recognition

Imitation

Affective computing

Data collection

Human-Machine interaction

Résumé

Le toucher est le premier sens à se développer et le premier moyen de contact avec le monde extérieur. Le toucher joue également un rôle clé dans la communication socio-émotionnelle: nous l'utilisons pour communiquer nos sentiments, susciter des émotions fortes chez les autres et influencer leur comportement. Malgré son importance, le toucher est une modalité sous-étudiée dans l'interaction humain-machine (IHM) et l'informatique affective par rapport à l'audition et la vision. Lorsqu'ils interagissent avec des machines, les humains recherchent et s'attendent à une interaction tactile, et par conséquent la conception de systèmes capables d'interpréter et de répondre de manière appropriée au toucher améliorerait la qualité de l'interaction entre les humains et les machines. Dans cette thèse, nous avons travaillé sur l'amélioration des systèmes de reconnaissance tactile de la machine. Avant de concevoir ces systèmes, nous avons d'abord introduit les mécanismes par lesquels le sens du toucher traite les stimuli physiques puis on a discuté d'un point de vue socio-psychologique des facteurs qui influencent le comportement tactile et son interprétation dans l'interaction sociale; puis on a passé en revue la littérature sur la reconnaissance automatique du toucher social. La construction de ces systèmes nécessite principalement de relever deux défis: (i) la détection et la collecte de données; (ii) extraction de caractéristiques du signal et la reconnaissance tactile automatisée. La plupart des systèmes de reconnaissance tactile sociale nécessitent une étape d'extraction de caractéristiques (features engineering), ce qui les rend difficiles à comparer et à généraliser à d'autres bases de données. Dans cette thèse, nous proposons une approche bout à bout (End-to-End) basé sur l'attention pour la reconnaissance des gestes tactiles, qu'on a évalué sur deux bases de données publics (CoST et HAART) dans le contexte du ICMI 15 Social Touch Challenge. Notre modèle a donné un niveau de précision similaire à l'état de l'art (61% pour CoST et 68% pour HAART) et utilise l'auto-attention (self-attention) comme alternative au features engineering et aux réseaux de neurones récurrents. Ensuite, nous introduisons une nouvelle façon de collecter des données tactiles socio-affectives, un cadre que nous avons nommé stimuli-imitation (SI). Les méthodes précédentes utilisaient des étiquettes affectives (par exemple, l'amour) ou des étiquettes de gestes tactiles (par exemple, câlin) pour susciter des gestes tactiles socio-affectifs. Ces stimuli sont vagues, séparés du contexte social et introduisent une forte variabilité inter-sujets. Le but de notre méthode est double: (i) fournir un contexte social en passant d'un stimuli basé sur une étiquette à un stimuli basé sur un scénario; et réduire la variabilité entre les sujets en contraignant la sollicitation des gestes tactiles à l'aide de l'imitation. Dans notre étude, nous avons examiné dans quelle mesure l'imitation produit des gestes tactiles cohérents; et aussi l'influence du contexte social introduit par les scénarios sur l'élicitation des affections. Enfin, nous avons développé un système de reconnaissance d'affect personnalisé qui utilise des données sur le toucher et les traits individuels (scores d'empathie et de personnalité) pour reconnaître l'état émotionnel des participants au-delà des niveaux de chance; et un système qui reconnaît les traits individuels à partir des données tactiles.

Touch is the earliest sense to develop and the first mean of contact with the external world. Touch also plays a key role in our socio-emotional communication: we use it to communicate our feelings, elicit strong emotions in others and modulates behavior (e.g. compliance). Although its relevance, touch is an understudied modality in Human-Machine Interaction (HMI) and Affective Computing (AC) compared to audition and vision. When interacting with machines, humans seek and expect tactile interaction thus designing systems able to interpret and respond appropriately to touch would enhance the quality of interaction between humans and machines. In this thesis we worked toward improving the machine touch recognition part of the interaction loop. Before designing these systems, we first introduced the mechanisms by which the sense of touch process physical stimuli (bottom-up) then discussed from a socio-psychological standpoint the factors that influence touch behavior and it's interpretation (top-down) in social interaction; then reviewed the literature on automatic Social Touch recognition. Building these systems requires mainly facing two challenges: (i) sensing and data collection; (ii) features extraction and automated touch recognition. Most of the social touch recognition systems require a feature engineering step making them difficult to compare and to generalize to other databases. In this thesis, we propose an end-to-end approach. We present an attention-based end-to-end model for touch gesture recognition evaluated on two public datasets (CoST and HAART) in the context of the ICMI 15 Social Touch Challenge. Our model gave a similar level of accuracy: 61% for CoST and 68% for HAART and uses self-attention as an alternative to feature engineering and Recurrent Neural Networks. Next, we introduce a novel way for collecting socio-affective touch data, a framework that we named stimuli-imitation (SI). Previous methods employed affective labels (e.g Love) or touch gesture labels (e.g Hug) to elicit socio-affective touch gestures. These stimuli are vague, divorced from social context and introduces high inter-subject variability. The purpose of our method is two fold: (i) provide a social context by transitioning from a label-based to a scenario-based stimuli; and reduce variability between subjects by constraining touch gesture elicitation using imitation. In our study we investigated to which extent imitation produce consistent touch gestures; and also the influence of social context introduced by scenarios on affect elicitation. Lastly, we developed a personalized affect recognition system that uses touch and individual traits data (empathy and personality scores) to recognize the emotional state of participants beyond chance levels, and a system that recognize individual traits from touch data.