Synthesis of music performances : virtual character animation as a controller of sound synthesis

par Alexandre Bouënard

Thèse de doctorat en STIC

Sous la direction de Sylvie Gibet.

Soutenue en 2009

à Lorient .

  • Titre traduit

    Synthèse de performance musicale : l'animation de personnage virtuel comme contrôleur de la synthèse sonore


  • Résumé

    Ces dernières années ont vu l'émergence de nombreuses interfaces musicales ayant pour objectif principal d'offrir de nouvelles expériences instrumentales. La spécification de telles interfaces met généralement en avant l'expertise des musiciens à appréhender des données sensorielles multiples et hétérogènes (visuelles, sonores et tactiles). Ces interfaces mettent ainsi en jeu le traitement de ces différentes données pour la conception de nouveaux modes d'interaction. Cette thèse s'intéresse plus spécifiquement à l'analyse, la modélisation ainsi que la synthèse de situations instrumentales de percussion. Nous proposons ainsi un système permettant de synthétiser les retours visuel et sonore de performances de percussion, dans lesquelles un percussionniste virtuel contrôle des processus de synthèse sonore. L'étape d'analyse montre l'importance du contrôle de l'extrémité de la mailloche par des percussionnistes experts jouant de la timbale. Cette analyse nécessite la capture préalable des gestes instrumentaux de différents percussionnistes. Elle conduit à l'extraction de paramètres à partir des trajectoires extremité capturées pour diverses variations de jeu. Ces paramètres sont quantitativement évalués par leur capacité à représenter ces variations. Le système de synthèse proposé dans ce travail met en oeuvre l'animation physique d'un percussionniste virtuel capable de contrôler des processus de synthèse sonore. L'animation physique met en jeu un nouveau mode de contrôle du modèle physique par la seule spécification de la trajectoire extrémité de la mailloche. Ce mode de contrôle est particulièrement pertinent au regard de l'importance du contrôle de la mailloche mis en évidence dans l'analyse précédente. L'approche physique adoptée est de plus utilisée pour permettre l'interaction du percussionniste virtuel avec un modèle physique de timbale. En dernier lieu, le système proposé est utilisé dans une perspective de composition musicale. La construction de nouvelles situations instrumentales de percussion est réalisée grâce à la mise en oeuvre de partitions gestuelles. Celles-ci sont obtenues par l'assemblage et l'articulation d'unités gestuelles canoniques disponibles dans les données capturées. Cette approche est appliquée à la composition et la synthèse d'exercices de percussion, et evaluée qualitativement par un professeur de percussion.


  • Résumé

    The last few decades have witnessed the emergence of a plethora of musical interfaces aiming at expanding musical performance experiences. The design of these interfaces generally emphasizes the expertise of musicians in managing heterogenous sensory informations (visual, sound and tactile). Such musical interfaces involve therefore the processing of these various sensory data for designing novel interaction modes. This thesis addresses more specifically the analysis, modeling and synthesis of percussion performances. We propose a system that realizes the synthesis of the visual and sound feedback of percussion performances in which a virtual percussionist controls sound synthesis processes. The analysis step of our work shows the importance of the fine control of mallet extremity trajectories by expert percussion performers playing timpani. It includes the collection of instrumental gesture data from several percussionists. We extract movement parameters from the recorded mallet extremity trajectories for different percussion playing variations. Such parameters are quantitatively evaluated with respect to their ability to represent the various playing variations under study. We then propose a system for synthesizing timpani performances involving the physical modeling of a virtual percussionist that interacts with sound synthesis processes. The physical framework includes a novel scheme for controlling the motion of the virtual percussionist solely by the specification of trajectories of mallet tips. This control mode is shown to be consistent with the predominant control of mallet extremity presented in the previous analysis step. The physical approach is also used for allowing the virtual percussionist to interact with a physical model of a timpani. Finally, the proposed system is used in a musical performance perspective. A composition process based on gesture scores is proposed to achieve the synthesis of novel percussion performances. Such gesture scores are obtained by the assembly and articulation of gesture units available in the recorded data. This compositional approach is applied to the synthesis of several percussion exercises, and is informally evaluated by a percussion professor.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (X-174 p.)
  • Annexes : Bibliogr. p. 135-166

Où se trouve cette thèse ?

  • Bibliothèque : Université de Bretagne-Sud (Lorient). Bibliothèque universitaire.
  • Disponible pour le PEB
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.