Les Unités Sémiotiques Temporelles comme fondement de systèmes d'improvisation assistée par ordinateur

par Jean-francois Ducher

Projet de thèse en Arts

Sous la direction de Alain Bonardi.

Thèses en préparation à Paris 8 , dans le cadre de ED Esthetique, sciences et technologie des Arts , en partenariat avec Esthétique, musicologie et créations musicales (equipe de recherche) depuis le 16-11-2017 .


  • Résumé

    ABSTRACT. Dans la pratique de l'improvisation « libre », l'absence de référent (grille harmonique, mélodie) est palliée par l'émergence de dynamiques qui s'expliquent par la coordination des musiciens autour de points focaux. Postulant que les Unités Sémiotiques Temporelles (UST), en tant que catégories de segments musicaux qui acquièrent une signification au travers de leur organisation temporelle, pourraient constituer des tels points focaux, il s'agira de concevoir un système d'improvisation assistée par ordinateur s'appuyant sur les UST pour proposer des directions innovantes aux musiciens. Ce système serait ouvert à diverses esthétiques sous réserve qu'elles partagent la même approche phénoménologique de la musique. La recherche reprendra les principes généraux d'architecture et les objectifs des "live algorithms" et s'interrogera sur la façon dont un système couplé, c'est à dire largement piloté par ses propres routines génératives, peut affirmer son leadership tout en contribuant de façon efficace aux directions proposées par les musiciens. PROJET. Dans la seconde moitié du XXème siècle s'est développée une pratique de l'improvisation, dite « libre » qui prétend s'affranchir de tout référent (grille harmonique, extrait de partition, stimulus audio-visuel...) préalable à la performance. Cette pratique concerne aussi bien le mouvement du « free jazz » que les musiques improvisées se revendiquant d'esthétiques contemporaines ayant en commun le rejet de la tonalité comme principe organisateur (musique acousmatique, spectrale, postsérielle, ou « concrète instrumentale») [DEA01]. L'analyse des phénomènes cognitifs à l'oeuvre dans l'improvisation libre montre que les dynamiques, notamment formelles, qui émergent lors de tels exercices peuvent s'expliquer par la coordination des musiciens autour d'évènements saillants et de points focaux, la qualité d'une improvisation dépendant précisément de la capacité des musiciens à découvrir, générer ou faire émerger ces points focaux [CAN01]. De nombreux compositeurs contemporains, de Trevor Wishart à François Bayle, ont dans leurs oeuvres comme dans leurs écrits cherché à identifier des catégories perceptives dans les structures temporelles [GRA01]. Dans leur lignée, les compositeurs du Laboratoire Musique et Informatique de Marseille ont mis en commun leur expérience musicale pour constituer des regroupements à partir d'un répertoire de figures temporelles en fonction de l'effet sonore produit dans le cadre d'une écoute globale. Les classes d'équivalence ainsi constituées sont nommées les Unités Sémiotiques Temporelles (UST). La description morphologique des UST a donné lieu ensuite à des travaux de modélisation mettant en valeur les profils temporels des UST avec un vocabulaire plus normalisé que celui du MIM : les Modèles Temporels Paramétrés (MTP) intégrent des éléments semi-quantitatifs (notions de variables pertinentes, de profilèmes, etc.) et permettent donc d'envisager une synthèse à partir d'un corpus de sons [BOO01]. UST et MTP ont fait l'objet de travaux de validation sur le plan cognitif auprès d'un public de musiciens et de non-musiciens [FRE01]. Issues d'une démarche analytique, les UST ont pu servir également de fondement à des systèmes de composition : la pluralité des horizons temporels sur lesquels se déploient les différentes UST permet notamment de concevoir leur articulation sous une forme hiérarchique et la construction de grandes formes [DIS01]; en revanche, comme c'est le cas pour tout processus temporel identifiable par l'auditeur et générant donc une attente chez celui-ci, la mise en oeuvre d'une UST requiert de pouvoir s'écarter de sa définition stricte sous peine de trivialité [FRE01]. Du fait de leur capacité à créer du signifiant à partir de l'agencement temporel de structures musicales, les UST pourraient aussi constituer des points focaux pertinents pour l'improvisation libre. La contribution de cette thèse serait de proposer un cadre conceptuel d'improvisation assistée par ordinateur s'appuyant sur les UST, ouvert à des esthétiques diverses à condition qu'elles s'inscrivent dans une approche phénoménologique – c'est à dire, considérant l’ensemble du phénomène musical en tant qu’entité indissociable et non les entités discrètes que sont les notes comme les principaux paramètres structurels de la musique. Reprenant le formalisme des live algorithms [BLA01], il s'agit de concevoir un système s'approchant de la performance humaine dans un contexte d'improvisation, présentant une architecture modulaire articulant typiquement autour d'un module de stockage des connaissances et de raisonnement f, un module d'écoute et d'analyse P ainsi qu'un module de production et de synthèse Q. Les qualités attendues d'un tel système sont : l'autonomie, l'innovation, la participation et le leadership. Young et Bown [YOU01] identifient quatre classes de comportements possibles pour ce type de système : l'asservissement (shadowing), le mimétisme (mirroring), le couplage et la négociation. La recherche porterait sur un système couplé, c'est à dire largement piloté par ses propres routines génératives, mais acceptant d'être perturbé par l'information venant des musiciens. Réaliser un état de l'art des systèmes d'improvisation assistés par ordinateur est un exercice délicat dans la mesure où beaucoup de systèmes ont été réalisés sans publication scientifique ; mais la plupart des systèmes sont concentrés sur l'improvisation idiomatique - jazz, musique tonale ou modale (voir [ROW01],[LEV01] ou [BLA02]). Parmi ceux qui ont connu des développements intéressant l'improvisation libre et qui s'affranchissent de l'approche structuraliste et du paradigme du MIDI, figurent les systèmes fondés sur la réinjection stylistique comme Omax, dont les productions sont fondées sur un comportement mimétique. Omax assoit son leadership notamment grâce à sa capacité à accumuler des connaissances sur des échelles temporelles dépassant le cadre d'une performance et faire aux musiciens des propositions de directions en s'appuyant sur cette mémoire. Si un algorithme d'apprentissage statistique se trouve au coeur d'Omax [ASS01], les modules de structuration des connaissances et de raisonnement (f) de nombreux systèmes d'improvisation ont été conçus en s'inspirant de l'observation des mécanismes naturels à l'oeuvre dans l'évolution (algorithmes génétiques), les comportements collectifs animaux (swarms) ou les réseaux neuronaux [BLA02]. Ces systèmes présentent une grande capacité d'innovation, souvent au détriment de la lisibilité des directions qu'ils prennent, ce qui peut pénaliser leur capacité à interagir en profondeur avec les musiciens. L'incorporation, dans la conception du système, de modèles paramétriques temporels correspondant aux UST permettrait à celui-ci de proposer des directions innovantes au(x) musicien(s) tout en les rendant suffisamment intelligibles, afin que ceux-ci puissent se positionner soit en accompagnement (actant le leadership du système) soit en rupture de la proposition faite par le système, parvenant ainsi à une véritable interaction bi-directionnelle. Une des difficultés rencontrées dans les systèmes couplés est que leur leadership tend à s'imposer au détriment de la perception que les musiciens peuvent avoir de leur caractère participatif - le système devenant « têtu » ou « autiste » [BLA02]. Le module d'analyse (P) devrait idéalement fournir au système les représentations nécessaires pour lui permettre de décider si les musiciens adhèrent à une direction (UST) qu'il propose ou si eux-mêmes ont proposé une direction différente à laquelle il est prié d'adhérer. Nous nous appuierons sur les avancées considérables réalisées dans le champ du Music Information Retrieval en matière de segmentation et d'analyse typo-morphologique en temps réel (voir par exemple[LAM01] ou [CAS01]) pour concevoir ce module d'analyse. Bibliographie COL01 : Nick Collins, Automatic composition of electroacoustic art music utilizing machine listening, Computer music journal, pp 8-23, 2012 SAV01 : Alain Savouret. Introduction à un solfège de l'audible: l'improvisation libre comme outil pratique. Symétrie, 2010 DEA01: Roger Dean, Hyperimprovisation: Computer-interactive Sound Improvisation, 2003 CAN01: Clement Canonne, thèse de doctorat, L'improvisation collective libre : de l'exigence de coordination a la recherche de points focaux : cadre théorique, analyses, expérimentations, Universite Jean Monnet - Saint-Etienne, 2010 GRA01: Marta Grabocz, Quelques processus archétypiques - ou unités sémiotiques temporelles - dans les écrits et les oeuvres de compositeurs contemporains, in E. Rix, M. Formosa (eds) Vers une sémiotique générale du temps dans les arts, Actes du colloque "les Unités Sémiotiques Temporelles, nouvel outil d'analyse musicale : théories et applications" (Marseille, dec. 2005), Editions Delatour France, 2008 BOO01: Philippe Bootz, Xavier Hautbois, Les Motifs Temporels Paramétrés, in E. Rix, M. Formosa (eds) Vers une sémiotique générale du temps dans les arts, Actes du colloque "les Unités Sémiotiques Temporelles, nouvel outil d'analyse musicale : théories et applications" (Marseille, dec. 2005), Editions Delatour France, 2008 HAU01 : Aline Frey, Xavier Hautbois, Philippe Bootz, Charles Tijus, An experimental validation of Temporal Semiotic Units and Parameterized Time Motifs, Musicae Scientiae, Vol 18 (1), pp. 98-123, 2014 FRE01: Marcel Frémiot et Lucie Prod'homme, Composer en UST, expériences au MIM, in E. Rix, M. Formosa (eds) Vers une sémiotique générale du temps dans les arts, Actes du colloque "les Unités Sémiotiques Temporelles, nouvel outil d'analyse musicale : théories et applications" (Marseille, dec. 2005), Editions Delatour France, 2008 DIS01: Jean-Louis Di Santo, Composer avec les UST, in E. Rix, M. Formosa (eds) Vers une sémiotique générale du temps dans les arts, Actes du colloque "les Unités Sémiotiques Temporelles, nouvel outil d'analyse musicale : théories et applications" (Marseille, dec. 2005), Editions Delatour France, 2008 BLA01: Tim Blackwell et Michael Young, Live Algorithms, Society for the study of artificial intelligence and simulation of behaviour quarterly, 2005 YOU01: Michael Young, Oliver Bown, Clap-along : a negociation strategy for creative musical interaction with computational systems, Proceedings of the first international conference on computational creativity, 2010 ROW01: Robert Rowe, Interactive Music Systems : Machine Listening and Composing, 1993 LEV01: Benjamin Levy, thèse de doctorat, Principes et architectures pour un système interactif et agnostique dédié à l’improvisation musicale, Université Pierre et Marie Curie, 2013 BLA02: Tim Blackwell, Oliver Bown, Michael Young, Live Algorithms : towards autonomous computer improvisers, in McCormack J., d’Inverno M. (eds) Computers and Creativity, Springer, Berlin, Heidelberg, 2012 ASS01: Gérard Assayag, Georges Bloch, Marc Chemillier, Improvisation et réinjection stylistiques. Le feedback dans la création musicale contemporaine, Rencontres musicales pluri-disciplinaires, Lyon, 2006 LAM01: Norbert Schnell, Marco Antonio Suarez-Cifuentes, Jean-Philippe Lambert, First Steps in Relaxed Real-Time Typo-MorphologicalAudio Analysis/Synthesis, Sound and Music Computing, Barcelone, 2010 CAS01: Michael A. Casey, Acoustic Lexemes for Organizing Internet Audio, Contemporary Music Review, 2005 CAN01 : Lola D. Cañamero, Designing emotions for activity selection in Autonomous Agents, in Emotions in Humans and artefacts , ed. R. Trappl, P. Petta, S. Payr, MIT Press, 2002

  • Titre traduit

    Conception of a computer-aided improvisation system using Semiotic Time Units


  • Résumé

    ABSTRACT. In free improvisation practice, the absence of previously agreed upon reference (such as a harmonic grid or a melody) is compensated by the emergence of dynamics which can explained by the co-ordination of musicians around focal points. Semiotic Time Units (STU) are categories of musical segments which acquire meaning through their own temporal organization. Assuming that STUs could work as focal points in the context of improvisation, the aim of the thesis is to conceive a computer-aided improvisation system relying on STUs to suggest innovating directions to the musicians. This system would be open to various aesthetics as long as they share the same phenomenological approach of music. This research would abide by the general architectural principles of so-called "live algorithms" and try to resolve the crucial issue raised by coupled systems (mostly steered by their own generative routines), i.e. how these systems can assert their leadership while at the same time contributing in an efficient manner to the directions which are proposed by the musicians.