Evaluation automatique de la coordination pour l'analyse des interactions

Automatic evaluation of the coordination for the analysis of interactions

• Auteur / Autrice : Emilie Delaherche
• Direction : Mohamed Chetouani
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2013
• Etablissement(s) : Paris 6

Mots clés

Mots clés contrôlés

Communication non verbale

Interaction sociale

Apprentissage automatique

Résumé

Dans une interaction sociale, nous coordonnons inconsciemment nos comportements verbaux et non verbaux à ceux de notre interlocuteur. Cette coordination se traduit par l’adoption de comportements identiques (mimétisme) ou d’un tempo similaire (synchronie). La coordination intervient dans l’acquisition de compétences sociales, au cours du développement de l’enfant. A l’âge adulte, elle est liée à la qualité des interactions et à la bonne entente entre individus. Un déficit de coordination peut à l’inverse témoigner d’un état pathologique (dépression, troubles autistiques). Aussi, l’évaluation de la coordination présente un intérêt majeur pour la compréhension de la communication. Cette thèse s’inscrit dans le cadre du Traitement du Signal Social. Nous proposons un système d’évaluation automatique de la coordination, à partir d’indices comportementaux non verbaux extraits sur les partenaires interactifs. Un clustering hiérarchique explicite l’organisation des différentes modalités. Une représentation plus fine de l’activité des partenaires est adoptée dans un second temps afin de distinguer mimétisme et synchronie. Enfin, les mesures de coordination proposées sont utilisées en amont de systèmes de classification ou de prédiction afin d’inférer différentes dimensions de l’interaction : sociales (degré de coordination), pathologiques (diagnostic clinique) ou développementales (âge). Conjointement, nous proposons de nouveaux indices comportementaux non verbaux traduisant le rythme gestuel et l’organisation des tours de parole. Ces caractéristiques contribuent également à la perception de la coordination et permettent d’inférer les dimensions étudiées.

In social interaction, we unconsciously coordinate our verbal and nonverbal behaviors to those of our partner. This coordination results in the adoption of identical behavior (mimicry) or similar tempo (synchrony). Coordination is involved in the acquisition of social skills during child development. In adulthood, it is linked to the quality of interaction and understanding between individuals. A lack of coordination can conversely show a pathological condition (depression, autism). Also, the evaluation of coordination is of major interest for the understanding of communication. This thesis is part of the Social Signal Processing research domain. We propose a system for the automatic assessment of coordination, from nonverbal behavioral cues extracted on interactive partners. A hierarchical clustering explains the organization between modalities. Then, a refined representation of gestures is adopted to distinguish between mimicry and synchrony. Finally, we have shown that the coordination measures we proposed could be used upstream of classification or prediction systems to infer various dimensions of interaction: social (degree of coordination), pathological (clinical diagnosis) or developmental (age). Together, we have proposed new nonverbal behavioral cues, reflecting gestural rhythm or organization of turn-taking. These cues also reflect the perception of coordination and enable to infer these dimensions of interaction.