Le paysage vidéo-sonore comme objet performatique.

par Jérémie Lautaud

Projet de thèse en Sciences de l'Information et de la Communication

Sous la direction de Jacques Ibanez bueno et de Marc Veyrat.

Thèses en préparation à Grenoble Alpes , dans le cadre de Langues, Littératures et Sciences Humaines , en partenariat avec Langages, Littératures, Sociétés (laboratoire) depuis le 01-09-2017 .


  • Résumé

    L'Histoire de l'art et de la communication sociale nous apprend que la question du paysage, que nous pourrions penser comme étant centrale, n'a obtenu ses lettres de noblesses que très tardivement. L'homme et ses dieux, ses inventions, ses constructions, ses actes et ses histoires ont toujours été les sujets favoris des artistes. Qu'ils soient peintres ou sculpteurs, tous ont désiré rivaliser d'adresse pour représenter l'humanité à hauteur de leurs plus hautes pensées. Trait notamment visible dans l'antiquité mais qui a perduré des siècles durant, servant tour à tour ordres religieux et royaux. C'est avec le Romantisme que véritablement l'artiste commence à s'émanciper de la vision anthropocentrique seule, se tournant à nouveau vers la nature, celle qui pendant longtemps fut considérée comme un objet inférieur, lieu de conquête pour l'homme, sans âme et sans valeur autre que foncière ou manne de ressources. Conservant ses rôles antécédents, le paysage revêt aujourd'hui d'autres formes : lieu touristique, de recherche, d'expression artistique, de méditation ou de contemplation. Nous nous approcherons dans cette recherche des notions liées au paysage imaginé puis traité en images et en sons par l'outil informatique. Le but du présent projet est de questionner l'art performatif à travers l'usage d'un dispositif interactif et d'un système de projection d'images et de diffusion sonore, offrant au spectateur un paysage virtuel construit par l'artiste performer pour la déambulation. Nous l'avons ainsi qualifié de « performatique » : mot-valise désignant l'acte artistique de la performance inscrit dans l'interface numérique grâce à l'outil informatique. Le terme concrétise l'engagement du corps dans le paysage numérique construit en temps réel par un dispositif imaginé à cet effet. Ce dernier permettra de générer les images et le son sur une base d'objets pré-construits, assemblés en temps réel par les gestes de l'interprète. Cet composition donnera naissance à un paysage virtuel au travers duquel l'artiste performer amènera le spectateur dans une course statique : la vitesse et la trajectoire dans ce paysage ne seront pas liés au déplacement du corps dans l'espace comme nous l'entendons pour la marche (relative au sol), mais aux mouvements du corps de l'interprète centré sur lui-même par l'intermédiaire d'un système d'encodage de données corporelles références. Le projet devra pour cela utiliser des technologies de captation du corps, comme la caméra Kinect de l'entreprise Microsoft, et des logiciels de modélisation et d'animation en temps réel, comme l'Unreal Engine 4 de l'entreprise Epic Games. Le corps ainsi scanné devient dans la performance un outil de création numérique, produisant du contenu visuel et sonore dans l'installation. La place du paysage dans l'art ayant ayant été désormais modifiée par les technologies numériques, il n'est plus systématiquement un fond où se déroule une action. Il deviendra ici le sujet même de la performance, l'objet de création par l'expression du corps. C'est pourquoi, avant d'entrer dans le cœur du sujet de cette étude, nous chercherons à résumer les rôles historiques tenus par le paysage dans l'art à travers les millénaires, jusqu'à examiner la façon dont il est numériquement traité dans les nouveaux media informatiques. Les modes d'expressions de ces supports récents découlent en effet directement des précédents et il nous semble important de situer cette recherche simultanément en rapport à l'évolution des supports artistiques et à la manière de transcrire le paysage. La notion de paysage embrasse une foule de définitions, pouvant désigner un lieu, la nature, une localité urbaine, une composition florale ou architecturale. Au sens figuratif, le paysage désigne « un ensemble de phénomènes, combinaison d'éléments, de faits qui s'offre à l'observation, à la réflexion, » (Définition du dictionnaire de l'Académie Française en ligne, 9e édition (http://www.cnrtl.fr/definition/academie9/paysage)) et peut également concerner une carte mentale (au sens “imaginaire”) ou des éléments de pensée. Nous tenterons d'aborder ces définitions en nous focalisant sur la création de paysage dans l'environnement numérique, et la relation particulière que nous pouvons entretenir avec lui. Le paysage sera traité sous plusieurs aspects : par les sciences de l'information et de la communication, anthropologique, ethnologique, sociologique, psychologique, géographique, esthétique et symbolique. Nous parlerons aussi bien de paysages dit « naturels », préservés de la main de l'homme, que de paysages transformés ou urbanisés. Nous évaluerons comment ces notions sont abordées dans le champ des media interactifs numériques, en parallèle et/ou en confrontation avec ceux des arts plastiques ; peinture, photographie et cinématographie. Toute représentation du paysage s'inscrit dans une époque, chaque époque étant marquée par les lieux de vie et d'habitat des artistes intégrés au reste de la société. L'architecture, les mœurs, les coutumes, les traditions sont porteuses de valeurs et de sens, contribuant à enrichir l'environnement paysager, et par conséquent les œuvres destinées à perdurer. Nous aborderons les notions de création artistique et d'expression plastique afin d'étudier l'inscription du paysage vidéo-sonore dans le champ esthétique historique. La conception d'environnement de synthèse questionne l'artiste sur la nature du support et ses modalités d'exécution. Le traitement du paysage numérique (digital landscape) présente des similarités avec ses prédécesseurs : le dessin, la peinture et la photographie. Le parallèle est naturellement visible dans la fabrication des « concept arts » (terme anglophone, que l'on pourrait traduire par « maquette artistique »), illustrations servant de modèle aux designers dans les étapes de travail (« workflow »), le processus de création d'un environnement numérique en trois dimensions. Suite à ce premier travail de prospection, nous aborderons la question de la performance artistique dans l'œuvre sus-décrite. Nous nous avancerons dans l'analyse de l'action performative dans un cadre généraliste, puis nous parlerons plus précisément de la représentation interprétée par l'artiste en interaction avec un système numérique. La performance artistique est un acte qui engage le corps. Le mixer avec un appareillage électronique évoque la notion dualiste de l'avatar : la projection numérique dans un environnement virtuel d'un corps présent dans l'espace physique. Cela nous amènera donc à aborder les notions relatives aux mondes de synthèse interactifs, soit les relations homme-machine, les questions de surface et d'interface, de lieu et d'espace, de moment et d'instant, de projection et de contrôle. Nous appuierons cette étude par des analyses d'exemples de media interactifs numériques, et nous complèterons ces dernières en nous penchant également sur des productions personnelles, dont l'installation interactive « Paysages », présentées lors du Festival Electro-M 2017 à Saint-Etienne. C'est en effet par la création de tels environnements de synthèse que nous pourrons nous plonger plus en avant dans l'examen du support et du contenu produit. C'est sur cette base que nous travaillerons sur l'objet de recherche à proprement parler : le paysage numérique performatif, ou la performance ubiquitaire dans un paysage simulé. Nous soulèverons également les questions de chronologie et de temporalité présentes dans l'animation du paysage numérique. La narration et le scénario, objets nécessaires à l'élaboration d'une performance orchestrée, donnent à l'interprète la possibilité de définir une vitesse d'action, une célérité dans le défilement des images, la distinguant des œuvres cinématographiques. Des œuvres comme Passage (2007) de Jason Rohrer ou encore Myst (1993) de Robyn et Rand Miller proposent par exemple d'interroger le paysage à travers le temps et son écoulement linéaire, par l'intermédiaire de l'action du spectateur. Le paysage numérique peut être un objet de prospection artistique, un lieu de recherche pour l'expression plastique, formellement ou symboliquement. L'intrication certaine entre l'aspect graphique et le scénario en fait un objet d'expérimentation complet, ce qui le place dans la droite lignée de son prédécesseur, le cinéma. La réalisation d'une œuvre cinématographique fait appel à de très nombreuses spécialités et son développement n'est pas qu'une question de temps ou de technique, mais également d'organisation et de coordination. La création d'un environnement de synthèse fait appel à des corps de métiers distincts, de l'ingénieur du son qui enregistrera des bruits pour donner un souffle et rendre vivant le paysage virtuel, au graphiste en charge des effets de lumières et ambiances atmosphériques. Nous verrons ensuite que le paysage ne peut laisser pour compte la notion de territoire, mise en évidence par la déambulation du performer dans l'environnement virtuel. Espace vidéo-sonore, projection réelle d'un espace virtuel, le voyage à travers l'écran offre une expérience esthétique atypique, considérant ici l'étymologie première de la notion d'esthétique : « sentir ». Ces mondes uniques offrent au spectateur un univers de sensations dont il peut rester la proie des heures durant. Nous glisserons ainsi vers les notions de surface et d'interface, simultanément incarnée par l'écran, objet de vision d'un monde onirique perdu, occultant l'espace physique et projetant un théâtre d'ombre auquel l'allégorie de la caverne, imaginée par Platon dans son œuvre La République, semble faire magnifiquement écho. Plus récemment, des applications mobiles comme Ingress (Niantic Labs, 2013), Pokémon Go (Niantic Labs, 2016) ou Opticale (Furinkazan, 2016), montrent à quel point la membrane séparant le monde physique du monde numérique est poreuse et initie la fusion ou la dissolution partielle de la distinction entre objets réels et images de synthèse. Ces interfaces numériques offre au spectateur la possibilité de rentrer dans la peau de leur avatar, de devenir acteur de l'image numérique, au même titre que l'artiste dans le travail envisagé ici. Ce qui nous amènera à aborder la valeur endogène du paysage numérique et nous demander comment la vision anthropique de ce monde peut bien souvent le maintenir dans une représentation anthropocentrique. Bien que sa plasticité apparente puisse laisser entrevoir toute l'infinité du potentiel onirique et fantasmagorique, l'imagination de l'artiste n'en reste non moins bornée par ses croyances et aspirations propres, influençant ainsi le contenu symbolique de l'œuvre. Cet espace de projection reste un champ d'expérience illusoire, défini par son auteur pour le spectateur. Le paysage vidéo-sonore reste un espace virtuel, les sensations physiques sont des stimuli cérébraux ; aucune sensation haptique (excepté les vibrations du son, avec l'usage de basses fréquences puissantes) ou olfactive ne pouvant être perçue à travers l'écran. C'est un monde d'essence audio-visuelle, introduisant de nouveaux rêves dans l'esprit humain. C'est grâce à la croissance rapide des capacités informatiques que les artistes ont pu s'emparer d'un outil qui n'était que langage mathématique appliqué et donner naissance à un monde parallèle. Le progrès technologique a permis de doter le paysage vidéo-sonore d'une forme d'hyper-réalisme, immergeant le « moi » de l'individu dans le champ audio-visuel perçu. Clos dans un monde virtuel, le spectateur peut à loisir libérer ses pulsions les plus sourdes, inavouables ou romanesques. Lorsque l'on met de côté l'aspect visuel, purement artistique du paysage numérique, pour se concentrer sur le contenu symbolique et la puissance de l'image et des sons, l'on s'aperçoit que cette reproduction en miniature du monde réel a une influence non négligeable sur le psychisme. Le cerveau interprète les messages reçu lors d'une immersion dans un monde virtuel comme des objets très « sérieux », concrets. L'étude des « serious games », ou « jeux sérieux », démontre qu'à long terme, un individu conditionné dans un tel environnement présente, morphologiquement parlant, des modifications en rapport avec l'expérience vécue. Que ce soit une augmentation des réflexes ou une diminution de la douleur, les points positifs ne sont évidemment pas seuls. Les effets restent encore méconnus et les expériences en laboratoire peu nombreuses pour en montrer tous les aspects. Néanmoins la plupart des scénarios implémentés restent là encore dans la droite lignée des productions cinématographiques et la réception par le publique ne peut être mesurée qu'au niveau individuel. C'est à ce niveau que la dimension communicationnelle sera prise en compte, à travers le projet initial du concepteur et la réception par le spectateur. Les choix méthodologiques ultérieurs auront pour objectifs de saisir au mieux les processus de communication mis en œuvre et les méthodes visuelles (visual methods) s'intègreront en partie dans la construction méthodologique à venir. Le paysage virtuel peut, avec l'encodage de multiples paramètres complexes, être un lieu d'expérimentation du réel, voire un substitut offrant la possibilité de vivre par projection un futur potentiel ou faire renaître un passé disparu (comme l'atteste le travail de Mylène Pardoen, « archéologue des sons »), tout en continuant à évoluer dans l'entre-deux présent.

  • Titre traduit

    Video-sound landscape as a performing digital object.


  • Résumé

    The history of art and social communication tells us that the question of landscape, which we could think of as central, won acclaim only very late. Man and his gods, his inventions, his constructions, his acts and his stories have always been the favorite subjects of artists. Whether they were painters or sculptors, they all wanted to compete with each other to represent humanity at the height of their highest thoughts. It is particularly visible in antiquity, but has lasted for centuries, serving in turn religious and royal orders. It is with Romanticism that the artist really begins to emancipate himself from the anthropocentric vision alone, turning once again towards nature, the one which for a long time was considered as an inferior object, a place of conquest for man, without soul and worthless other than land or resources. Conserving its antecedent roles, the landscape now takes on other forms: tourist, research, artistic expression, meditation or contemplation. In this research we will approach concepts related to the imagined landscape and then treated in pictures and sounds by the computer tool. The aim of this project is to question performative art through the use of an interactive device and a system of projection of pictures and sound diffusion, giving to the spectator a virtual landscape constructed by the artist performer for the ambulation. We have described it as "performatique" (digital performance): a portmanteau word that describes the artistic act of performance recorded in the digital interface thanks to the computer tool. The term concretizes the commitment of the body in the digital landscape constructed in real time by a device designed for this purpose. The latter will generate pictures and sound on the basis of pre-constructed objects, assembled in real time by the interpreter's gestures. This composition will give rise to a virtual landscape through which the performer will bring the viewer in a static race: the speed and the trajectory in this landscape will not be linked to the movement of the body in space as we understand it for walking (relative to the ground), but to movements of the body of the interpreter centered on itself through a system encoding body data. The project will have to use body capture technologies, such as Microsoft's Kinect camera, and real-time modeling and animation software, such as the Epic Games Unreal Engine 4. The body thus scanned becomes in performance a tool of digital creation, producing visual and sound content in the installation. The place of landscape in art having now been modified by digital technologies, it is no longer systematically a background where an action takes place. It will become here the very subject of performance, the object of creation by the expression of the body. Therefore, before going into the heart of the subject of this study, we will attempt to summarize the historical roles held by landscape in art through millennia, until we examine how it is digitally treated in the new computer media. The means of expressions of these recent media flow directly from the preceding ones and it seems important to us to situate this research simultaneously in relation to the evolution of the artistic supports and the way of transcribing the landscape. The notion of landscape embraces a host of definitions, which may designate a place, nature, an urban locality, a floral or architectural composition. In the figurative sense, the landscape designates "a set of phenomena, a combination of elements, facts that are open to observation, reflection," and may also concern a mental map or elements of thought. We will attempt to address these definitions by focusing on the creation of landscape in the digital environment and the special relationship we can maintain with it. The landscape will be dealt with in several ways: through the information and communication sciences, anthropological, ethnological, sociological, psychological, geographical, aesthetic and symbolic. We will also speak of so-called "natural" landscapes, preserved by the hand of man, as of landscapes transformed or urbanized. We will evaluate how these notions are addressed in the field of interactive digital media, in parallel and / or in confrontation with those of the plastic arts; painting, photography and cinematography. Any representation of the landscape is part of an era, each epoch being marked by life places and settlement of artists integrated into the rest of society. Architecture, manners, customs and traditions bear values ​​and meanings, contributing to the enrichment of the landscape environment, and consequently the works destined to endure. We will discuss the notions of artistic creation and plastic expression in order to study the inscription of the video-sound landscape in the historical aesthetic field. The synthesis environment design questions the artist about the nature of the medium and its modalities of execution. The treatment of the digital landscape presents similarities with its predecessors: drawing, painting and photography. The parallel is naturally visible in the manufacture of "concept arts", illustrations serving as a model for designers in workflows, creation process of a three-dimensional digital environment. Following this first prospecting work, we will discuss the question of artistic performance in the work described above. We will advance in the analysis of performative action in a generalist framework, and then we will speak more precisely of the representation interpreted by the artist in interaction with a digital system. Artistic performance is an act that engages the body. Mixing it with electronic equipment evokes the dual notion of the avatar: the digital projection in a virtual environment of a body present in physical space. This will lead us to broach the notions of interactive worlds of synthesis, namely human-machine relations, surface and interface questions, place and space, moment and instant, projection and control . We will support this study with analyzes of examples of digital interactive media, and we will complement these with personal productions, including the interactive installation "Landscapes", presented at the Electro-M 2017 Festival in Saint-Etienne. It is indeed through the creation of such synthesis environments that we will be able to delve deeper into the examination of the medium and the product content. It is on this basis that we will work on the research object strictly speaking: the performative digital landscape, or the ubiquitous performance in a simulated landscape. We will also raise the questions of chronology and temporality present in the animation of the digital landscape. The narrative and the scenario, the necessary objects for the elaboration of an orchestrated performance, give the possibility of defining a speed of action to the performer, a celerity in the scrolling of pictures, distinguishing it from cinematographic works. Works like Passage (2007) by Jason Rohrer and Myst (1993) by Robyn and Rand Miller propose, for example, are questioning the landscape through time and its linear flow, through the action of the viewer. The digital landscape can be an object of artistic prospection, a place of research for plastic expression, formally or symbolically. The certain entanglement between the graphic aspect and the scenario makes it an object of complete experimentation, which places it in the right line of its predecessor, the cinema. The realization of a cinematographic work calls upon many specialties and its development is not only a matter of time or technique but also of organization and coordination. The creation of a synthesis environment calls upon distinct professions, from the sound engineer who will record noises to give a breath and make the virtual landscape alive, to the graphic designer responsible for the effects of atmospheric lights and atmospheres. We will see later that the landscape can not leave behind the notion of territory, highlighted by the wandering of the performer in the virtual environment. A video-sound space, the real projection of a virtual space, the travel through the screen offers an atypical aesthetic experience, considering here the etymology of the notion of aesthetics: "feel." These unique worlds offer to the spectator a universe of sensations from which he can remain the prey for hours. We will thus slip towards the notions of surface and interface, simultaneously embodied by the screen, the object of vision of a lost dream world, obscuring physical space and projecting a shadow theater to which the allegory of the cave, imagined by Plato in his work The Republic, seems to echo magnificently. More recently, mobile applications such as Ingress (Niantic Labs, 2013), Pokémon Go (Niantic Labs, 2016) or Opticale (Furinkazan, 2016) show how the membrane separating the physical world from the digital world is porous and initiates the fusion or the partial dissolution of the distinction between real objects and synthetic pictures. These digital interfaces provide to the viewer the opportunity to merge with their avatar, to become an actor in the digital picture, just as the artist in the work envisaged here. This will lead us to address the endogenous value of the digital landscape and ask how the anthropic vision of this world can often maintain it in an anthropocentric representation. Although the apparent plasticity of this work can reveal all the infinity of the dreamy and phantasmagoric potential, the artist's imagination is nevertheless limited by his own beliefs and aspirations, thus influencing the symbolic content of the work. This space of projection remains a field of illusory experience, defined by its author for the viewer. The video-sound landscape remains a virtual space, the physical sensations are cerebral stimuli; no haptic sensation (except the vibrations of the sound, with the use of powerful low frequencies) or olfactory that can not be perceived through the screen. It is a world of audio-visual essence, introducing new dreams into the human mind. It was thanks to the rapid growth of computer skills that artists were able to seize a tool that was only applied mathematical language and give birth to a parallel world. Technological progress has made it possible to equip the video-sound landscape with a form of hyperrealism, immersing the individual's "inner self" in the perceived audio-visual field. Closed in a virtual world, the spectator can free his most secret, obscure or romantic impulses. When we set aside the visual, purely artistic aspect of the digital landscape, to concentrate on the symbolic content and the power of the picture and the sounds, we realize that this reproduction in miniature of the real world has a non-negligible influence on the psyche. The brain interprets messages received during an immersion in a virtual world as very "serious" objects. The study of "serious games", shows that in the long run, an individual conditioned in such an environment presents, morphologically speaking, modifications in relation to the lived experience. Whether it is an increase in reflexes or a decrease in pain, the positives are obviously not alone. The effects are still little-known and laboratory experiments too few to show all aspects. Nevertheless, most of the scenarios implemented remain still in the right line of cinematographic productions and public reception can only be measured at the individual level. It is at this level that the communication dimension will be taken into account, through the designer's initial project and reception by the viewer. The subsequent methodological choices will aim at understanding the communication processes implemented and the visual methods will be integrated partly into the future methodological construction. The virtual landscape can, with the encoding of multiple complex parameters, be a place of experimentation with the real or even a substitute offering the possibility of living by projection a potential future or bringing to life a vanished past (as attested by the work of Mylène Pardoen, "the archaeologist of sounds"), while continuing to evolve in the present period in between.