Technologies immersives enrichies par inductions / régulations physiologiques autonomes et somatosensorielles : bénéfices pour l'Homme et ses interactions

Immersive technologies enhanced by autonomous and somatosensory physiological induction / regulation : benefits for the human and its interactions

• Auteur / Autrice : Yvan Pratviel
• Direction : Laurent Arsac
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Soutenance le 08/12/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Jury : Président / Présidente : Isabelle Siegler
• Jury : Examinateurs / Examinatrices : Christophe Bourdin, Marion Trousselard, Virginie Postal-Le Dorse
• Jury : Rapporteurs / Rapporteuses : Jean-Jacques Temprado, Hadrien Ceyte
• DOI : 10.70675/101270c4z80b5z40fazb75az2d26ddb9f2de

Mots clés

Mots clés contrôlés

Avatars (informatique)

Réalité virtuelle

Conscience de soi

Sciences cognitives

Physiologie humaine

Analyse fractale

Mots clés libres

Avatars

Multifractalité

Réalité virtuelle

Conscience de soi corporelle

Cognitique

Physiologie

Avatars

Multifractality

Virtual reality

Bodily self-Consciousness

Cognitics

Physiology

Résumé

L’Homme fait naturellement l’expérience d’un soi conscient, localisé à l’intérieur de ses frontières corporelles. Cette conscience de soi corporelle peut être manipulée à l’aide de stimulations multisensorielles, combinant des signaux extéroceptifs et intéroceptifs. En particulier, l’usage d’un avatar en réalité virtuelle (VR) se substituant au corps du participant permet d’induire des illusions corps entier grâce à l’induction de signaux physiologiques, et d’exploiter des phénomènes cognitifs et moteurs liés à l’identification au corps virtuel.Les progrès de la réalité virtuelle et des technologies de capture du mouvement permettent aujourd’hui à un utilisateur de contrôler un avatar en temps réel, perçu à la troisième personne. Conscience de soi, cognition et comportement visuomoteur agissent alors de concert, créant de nouvelles interactions pouvant donner naissance à l’incarnation de l’avatar.L’objectif final de ce travail était de concevoir un cadre expérimental permettant de mesurer et de comprendre les relations entre l’utilisateur et son avatar, et d’étudier leur impact sur ses performances. Les travaux menés s’intéressent à la fois à la mesure des performances et de la conscience de soi corporelle en VR, mais aussi à l’application d’une nouvelle méthode de mesure des adaptations visuomotrices et du sentiment d’incarnation via la complexité des signaux du mouvement humain.L'activité motrice volontaire est organisée autour du sentiment d'agentivité, qui décrit la conscience d'un corps agissant, et la coordination de systèmes complexes impliquant perception, cognition et mouvement, autour de la conscience d’un soi ancré dans un corps physique. Des études récentes suggèrent qu’il est possible d’obtenir des informations sur les interconnexions entre le cerveau, le corps et l’environnement en s’intéressant aux propriétés non-linéaires du mouvement émergeant des interactions entre ces différents composants. Sur la base de signaux moteurs échantillonnés à haute fréquence, la multifractalité des séries temporelles se révèle être un indicateur pertinent pour évaluer ces interactions.Dans ce travail nous avons transposé une tâche de temps de réponse visuomoteurs en VR, et conduit une analyse multifractale des mouvements des mains (enregistrés avec les contrôleurs VR) pour caractériser les adaptations fines provoquées par différents espaces visuels d’intervention, ainsi que les différences de contrôle entre les mains dominante et non-dominante. L’analyse multifractale a également été appliquée aux mouvements d’une souris d’ordinateur pour étudier le phénomène d’incarnation d’un outil, littéralement l’incorporation d’un outil dans un système cognitif étendu. Enfin, nous avons étudié l’influence de stimulations multisensorielles sur le sentiment d’incarnation d’un avatar vu à la troisième personne, statique ou mobilisé par le participant.Les résultats de ces expériences permettent de mieux comprendre le phénomène d’incarnation impliquant la conscience de soi corporelle, et de proposer l’analyse des interactions non-linéaires entre l’utilisateur et son avatar pour rendre compte du phénomène de cognition étendue. En combinant ces phénomènes avec des dispositions individuelles des utilisateurs, nous avons tenté d’éclairer un champ transdisciplinaire, nécessaire à l’approche de systèmes complexes dont les propriétés émergentes sont fondamentales pour appréhender les interactions permanentes entre perception, cognition et action.

Human beings naturally experience a conscious self, located within bodily boundaries. This so-called bodily self-consciousness can be manipulated using multisensory stimulations, combining exteroceptive and interoceptive signals. In particular, the use of an avatar in virtual reality (VR) substituting the participant's body allows to induce full-body illusion, and to exploit cognitive and motor phenomena related to the identification with the virtual body.Advances in virtual reality and motion capture technologies now allow a user to control an avatar in real time, perceived with a third-person perspective. In this condition, self-awareness, cognition and visuomotor behavior are tightly interwoven, which creates new interactions giving rise to avatar embodiment.The main aim of this work was to design an experimental framework to measure and understand the interplay between the user and his avatar, and to study how modified interactions can affect performance. Specific characteristics of the VR user’s motor behavior, extracted by using complexity science tools applied to hand movement dynamics, provided additional cues on the recent concept in cognitive sciences dealing with radical embodiment.The rationale is that voluntary motor activity is organized around the sense of agency, which describes the awareness of an acting body, and the coordination of complex systems involving perception, cognition and movement. Recent studies suggest that it is possible to obtain information about the interconnections between the brain, the body and the environment by focusing on the non-linear properties of movement emerging from the interactions between these different components. Based on high frequency sampled motor signals, the multifractality of movement time series appears to be a relevant indicator to evaluate these interactions.Here, we first transposed a visuomotor task in VR, and conducted a multifractal analysis of hand movements to characterize adaptations caused by different visual fields, and identify specific features in the dominant and the non-dominant hand. Multifractal analysis was also applied to the movements of a computer mouse to study the phenomenon of tool embodiment, literally the incorporation of a tool into an extended cognitive system. Finally, we studied the influence of multisensory stimuli on the embodiment of an avatar seen with a third-person perspective, either static or moving in synch with the user.Our results provide a better understanding of embodiment together with bodily self-consciousness. In addition, nonlinear multifractality is proposed to unveil the specific architecture of an extended cognitive system linking the user to its avatar. By exploring these phenomena in association with individual abilities of users, we attempted to shed light on a necessary transdisciplinary approach including the science of complexity to capture emergent properties in a complex system linking perception, cognition and action.