Qualification (a)verbale de l'humeur musicale : nouvelles perspectives pour la synchronisation dans l'audiovisuel

(A)verbal qualification of musical mood : new perspectives for synchronization in the audiovisual industry

• Auteur / Autrice : Willy Yvart
• Direction : Sylvie Leleu-Merviel, Thierry Dutoit, Stéphane Dupont, Michel Labour
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'information et de la communication
• Date : Soutenance le 05/12/2019
• Etablissement(s) : Valenciennes, Université Polytechnique Hauts-de-France en cotutelle avec Université de Mons
• Ecole(s) doctorale(s) : École doctorale Sciences de l'homme et de la société (Villeneuve d'Ascq, Nord)
• Partenaire(s) de recherche : Laboratoire : Laboratoire en design visuel et urbain (Valenciennes, Nord ; 1998-2021) - Institut de recherche pour les technologies créatives
• Partenaire(s) de recherche : Communauté d'Universités et Etablissements (ComUE) : Communauté d'universités et d'établissements Lille Nord de France (2009-2013)
• Jury : Président / Présidente : Véronique Moeyaert
• Jury : Examinateurs / Examinatrices : Sylvie Leleu-Merviel, Thierry Dutoit, Stéphane Dupont, Michel Labour, Didier Courbet, Madjid Ihadjadene, Xavier Siebert
• Jury : Rapporteurs / Rapporteuses : Didier Courbet, Madjid Ihadjadene

Mots clés

Mots clés contrôlés

Proxémique

Bases de données -- Interrogation

Systèmes d'information

Mots clés libres

Information

Musique

Bibliothèques

Indexation

Métadonnées

Humeur

Emotion

Information

Music

Libraries

Indexing

Metadata

Mood

Emotion

Résumé

La musique est présente dans tous les métrages produits par les industries audiovisuelles et cinématographiques. Elle peut préexister au film, avoir pour destination l’industrie traditionnelle de la musique ou être spécialement prévue pour être synchronisée à des images. Dans ce cas, la musique recherchée est généralement perdue dans des bases de media musicaux disposant de leurs propres Systèmes de Recherche d’Information (SRI). Alors que dans le monde anglo-saxon la profession de Music Supervisor (MS) permet d’allouer à cette tâche un vrai spécialiste de l’utilisation de ces systèmes, il n’en est pas de même dans les productions d’Europe continentale. Des MS per accidens s’y trouvent devoir traduire l’humeur musicale désirée en requêtes pour ces SRI qu’ils interrogent parfois pour la première fois. Dans l’optique de rendre cette tâche moins ardue pour des non-spécialistes de la question musicale, nous avons exploré deux voies. L’une envisage la proxémie sémantique pour le nettoyage des nuages de tags mêlant taxinomies et folksonomies, afin de tracer de nouvelles reliances entre media ou écarter des qualifications qualitativement aberrantes. La seconde voie explorée consiste à trouver une manière d’éviter la verbalisation. Après un état de l’art des solutions existantes pour la qualification de l’humeur ou, plus largement, des états émotionnels, solutions développées pour les besoins de nombreuses autres disciplines (psychologie expérimentale, sciences de l’éducation, marketing, etc.), l’analyse conduit au prototypage du dispositif SYM (Spot Your Mood). Par pointage sur un espace de Valence-Arousal, SYM permet de substituer des coordonnées spatiales abstraites relativement intuitives aux qualifiants verbaux. Au-delà du champ musical, SYM a aussi fait l’objet d’autres validations dans la qualification de l’expérience d’utilisateurs ou de spectateurs, ainsi que pour l’aide à l’explicitation de l’humeur chez des publics souffrant de divers handicaps empêchant la verbalisation ou la communication.

The music is part of all films produced within the audiovisual and cinematographic industries. It can preexist the film, be destined to be part of the traditional music industry or to be especially synchronized with pictures. In this case, the music excerpt sought after is usually lost in endless media bases providing their own Information Retrieval Systems (IRS). Whereas in the Anglo-Saxon world Music Supervisors (MS) are genuine experts in the use of these systems, it is not the same across Continental Europe. Per accidens MS are asked to translate the desired musical mood into queries for these IRSs, systems that they are sometimes using for the first time. In order to make this task easier for these non-specialists, we explored two approaches. The first led us to explore the possibilities offered by semantic proxemics in order to clean tag clouds mixing taxonomies and folksonomies to trace new relationships between media or to reject qualitatively aberrant qualifications. The second consisted in finding a way to do so without verbalisation. After a review of extant solutions developed for the needs of many other disciplines (experimental psychology, sciences of education, marketing, etc.), we managed to prototype SYM (Spot Your Mood). Instead of relying on verbalisations, SYM makes it possible to provide relatively intuitive spatial coordinates out of a valence-arousal space. Also, SYM has been put to use for many other adaptations in order to qualify user or spectator experience as well as to help elicit the mood with audiences suffering from various verbal or communicational impairments.