Caractérisation acoustique des relations entre les mouvements biologiques et la perception sonore : application au contrôle de la synthèse et à l'apprentissage de gestes

Acoustic characterisation of relations between biological movements and auditory perception : applications to the control of sound synthesis and gesture learning

• Auteur / Autrice : Etienne Thoret
• Direction : Sølvi Ystad, Mitsuko Aramaki
• Type : Thèse de doctorat
• Discipline(s) : Acoustique
• Date : Soutenance le 19/12/2014
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole doctorale Sciences pour l'Ingénieur : Mécanique, Physique, Micro et Nanoélectronique (Marseille ; 2000-....)
• Jury : Président / Présidente : Christophe Bourdin
• Jury : Examinateurs / Examinatrices : Édouard Gentaz
• Jury : Rapporteurs / Rapporteuses : Cathy Craig, Stephen McAdams

Mots clés

Mots clés contrôlés

Cognition

Traitement du signal

Synthèse sonore

Perception auditive

Gestes

Mots clés libres

Perception sonore

Relation geste/son

Mouvements biologiques

Synthèse sonore

Contrôle intuitif

Analyse par la synthèse

Synchronisation sensori-Motrice

Perception multisensorielle du mouvement

Sonification

Auditory perception

Sound/gesture relation

Biological motions

Sound synthesis

Analysis-Synthesis

Sensorimotor synchronization

Multisensory perception of motion

Sonification

Résumé

Cette thèse s'est intéressée aux relations entre les mouvements biologiques et la perception sonore en considérant le cas spécifique des mouvements graphiques et des sons de frottement qu'ils génèrent. L'originalité de ces travaux réside dans l'utilisation d'un modèle de synthèse sonore basé sur un principe perceptif issu de l'approche écologique de la perception et contrôlé par des modèles de gestes. Des stimuli sonores dont le timbre n'est modulé que par des variations de vitesse produites par un geste ont ainsi pu être générés permettant de se focaliser sur l'influence perceptive de cet invariant transformationel. Une première étude a ainsi montré que l'on reconnait la cinématique des mouvements biologiques (la loi en puissance 1/3), et que l'on peut discriminer des formes géométriques simples juste à partir des sons de frottement produits. Une seconde étude a montré l'existence de prototypes dynamiques sonores caractérisant les trajectoires elliptiques, mettant ainsi en évidence que les prototypes géométriques peuvent émerger d'un couplage sensorimoteur. Enfin, une dernière étude a montré qu'une cinématique évoquée par un sonore influence significativement la cinématique et la géométrie d'un geste dans une tâche de reproduction graphique du mouvement d'un point lumineux. Ce résultat révèle l'importance de la modalité auditive dans l'intégration multisensorielle des mouvements continus dans une situation jamais explorée. Ces résultats ont permis le contrôle de modèles de synthèse par des descriptions gestuelles et la création d'outils de sonification pour l'apprentissage de gestes et la réhabilitation d'une pathologie motrice, la dysgraphie.

This thesis focused on the relations between biological movements and auditory perception in considering the specific case of graphical movements and the friction sounds they produced. The originality of this work lies in the use of sound synthesis processes that are based on a perceptual paradigm and that can be controlled by gesture models. The present synthesis model made it possible to generate acoustic stimuli which timbre was directly modulated by the velocity variations induced by a graphic gesture in order to exclusively focus on the perceptual influence of this transformational invariant. A first study showed that we can recognize the biological motion kinematics (the 1/3 power law) and discriminate simple geometric shapes simply by listening to the timbre variations of friction sounds that solely evoke velocity variations. A second study revealed the existence of dynamic prototypes characterized by sounds corresponding to the most representative elliptic trajectory, thus revealing that prototypical shapes may emerged from sensorimotor coupling. A final study showed that the kinematics evoked by friction sounds may significantly affect the dynamic and geometric dimension in the visuo-motor coupling. This shed critical light on the relevance of auditory perception in the multisensory integration of continuous motion in a situation never explored. All of these theoretical results enabled the gestural control of sound synthesis models from a gestural description and the creation of sonification tools for gesture learning and rehabilitation of a graphomotor disease, dysgraphia.