Analyse du geste dansé et retours visuels par modèles physiques : apport des qualités de mouvement à l'interaction avec le corps entier

Dance Gesture Analysis and Visual Feedback based on Physical Models : Contributions of Movement Qualities in Whole Body Interaction

• Auteur / Autrice : Sarah Fdili Alaoui
• Direction : Christian Jacquemin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/12/2012
• Etablissement(s) : Paris 11
• Ecole(s) doctorale(s) : Ecole doctorale Informatique de Paris-Sud
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020) - Institut de recherche et coordination acoustique musique (Paris)
• Jury : Président / Présidente : Michel Beaudouin-Lafon
• Jury : Examinateurs / Examinatrices : Christian Jacquemin, Michel Beaudouin-Lafon, Sylvie Gibet, Catherine Pelachaud, Frédéric Bevilacqua, Nuno Correia
• Jury : Rapporteurs / Rapporteuses : Sylvie Gibet, Catherine Pelachaud

Mots clés

Mots clés contrôlés

Interaction humain-machine

Systèmes homme-machine

Gestes

Sciences et arts

Mots clés libres

Art-science

Geste dansé

Geste expressif

Qualités de mouvement

Performance augmentée

Interaction du corps entier

Techniques d’interaction

Analyse de gestes

Reconnaissance de gestes

Retours visuels par modèles physiques

Modèles masses-ressorts

Expérience utilisateur

Art-science

Dance gesture

Expressive gesture

Movement qualities

Augmented performance

Whole body interaction

Interaction techniques

Gesture analysis

Gesture recognition

Visuals feedback based on physical models

Mass-springs systems

User experience

Résumé

La présente thèse a pour but d’approfondir l’étude du geste dans le cadre de l’interaction Homme Machine. Il s’agit de créer de nouveaux paradigmes d’interaction qui offrent à l’utilisateur de plus amples possibilités d’expression basées sur le geste. Un des vecteurs d’expression du geste, très rarement traité en Interaction Homme Machine, qui lui confère sa coloration et son aspect, est ce que les théoriciens et praticiens de la danse appellent « les qualités de mouvement ». Nous mettons à profit des collaborations avec le domaine de la danse pour étudier la notion de qualités de mouvement et l’intégrer à des paradigmes d’interaction gestuelle. Notre travail analyse les apports de l’intégration des qualités de mouvement comme modalité d’interaction, fournit les outils propices à l’élaboration de cette intégration (en termes de méthodes d’analyse, de visualisation et de contrôle gestuel), en développe et évalue certaines techniques d’interaction.Les contributions de la thèse se situent d’abord dans la formalisation de la notion de qualités de mouvement et l’évaluation de son intégration dans un dispositif interactif en termes d’expérience utilisateur. Sur le plan de la visualisation des qualités de mouvement, les travaux menés pendant la thèse ont permis de démontrer que les modèles physiques masses-ressorts offrent de grandes possibilités de simulation de comportements dynamiques et de contrôle en temps réel. Sur le plan de l’analyse, la thèse a permis de développer des approches novatrices de reconnaissance automatique des qualités de mouvement de l’utilisateur. Enfin, à partir des approches d’analyse et de visualisation des qualités de mouvement, la thèse a donné lieu à l’implémentation d’un ensemble de techniques d’interaction. Elle a appliqué et évalué ses techniques dans le contexte de la pédagogie de la danse et de la performance.

The thesis studies gesture in the context of Human-Computer interaction. It aims at creating new interaction paradigms that offer the user further expressive possibilities based on gestures. The theorists and practitioners of the dance call "movement qualities” (MQ), a notion that conveys expressive content describing the way a gesture is performed. This notion has been rarely taken into consideration in the field of HCI. Our work draws on collaborations with the field of dance to explore the notion of movement qualities and to integrate it as interaction modality. The contributions of the thesis are in the formalism of the notion of movement qualities and evaluation of its integration as interaction modality in terms of user experience. We also provide computational tools for considering MQ in interactive systems in terms of analysis, representation and gesture control methods. On the representational level, our work have demonstrated that physical models based on masses and springs systems offer great opportunities for simulating dynamics related to MQs and for real-time gesture control. On the analysis level, we developed innovative approaches to automatic real time recognition of movement qualities. Finally, we implemented of a set of interaction techniques based on movement qualities that we applied and evaluated in the context of dance pedagogy and performance.