Métaphore d’interaction gestuelle en environnement virtuel : application à l’apprentissage de gestes

par Florian Jeanne

Thèse de doctorat en Informatique : Unité de recherche Heudyasic (UMR-7253)

Sous la direction de Indira Thouvenin.

Soutenue le 13-12-2017

à Compiègne , dans le cadre de École doctorale 71, Sciences pour l'ingénieur (Compiègne) , en partenariat avec Heuristique et Diagnostic des Systèmes Complexes [Compiègne] / Heudiasyc (laboratoire) .

mots clés

• Interaction gestuelle
• Guidage de geste
• Réalité virtuelle
• Environnements virtuels partagés
• Gestes
• Communication non verbale
• Modélisation tridimensionnelle
• Temps réel (informatique)
• Énaction
• Apprentissage
• Apprentissage moteur

Résumé

Au cours de nos travaux, nous nous sommes intéressés à l’apprentissage de gestes techniques en environnement virtuel. Ces environnements permettent en effet de se former à un geste réalisable dans un environnement réel, en ayant des aides qui ne seraient quant à elle pas disponibles, comme la trace en trois dimensions du geste par exemple, ou la possibilité de voir son geste d’un point de vue différent. Toutefois dans le cadre du guidage de geste, il s’avère que la plupart des métaphores visuelles usuelles ne tiennent pas ou peu compte du problème de dépendance qu’elles génèrent. L’hypothèse de guidage issue des théories sur l’apprentissage moteur, stipule en effet que l’utilisation continue d’aides pendant l’apprentissage génère une dépendance de l’apprenant vis-à-vis de ces aides. Ce dernier n’est alors plus capable de reproduire correctement le geste ou la tâche demandée sans l’aide de ces aides. Néanmoins, en réalité virtuelle l’utilisation d’aides d’apprentissage reste nécessaire pour la formation. Pour répondre à cette problématique nous proposons une nouvelle métaphore dynamique d’interaction 3D en environnement virtuel, basée sur la modalité visuelle. Notre approche consiste à axer l’apprentissage sur le ressenti de l’utilisateur, en nous basant sur une pédagogie essai-erreur dans le cadre théorique du paradigme de l’énaction. Notre métaphore indique à l’apprenant ses erreurs de trajectoire en temps réel, l’incitant implicitement à se corriger. Notre hypothèse est que lorsque l’aide n’est plus affichée, l’apprenant est capable de reproduire le geste convenablement en se basant sur ses sensations passées. Nous avons conduit une première expérimentation afin de vérifier que notre métaphore permet bien de reproduire un geste présenté au préalable tout en corrigeant les erreurs de trajectoire. Puis, dans un second temps une deuxième expérimentation a démontré que la métaphore permettait d’obtenir de meilleures performances et qu’elle réduisait davantage la dépendance que des métaphores usuelles de guidage.

mots clés

• Virtual reality
• Gesture guidance
• Interaction
• Virtual environment
• Learning

Titre traduit

Gestural interaction metaphor in virtual environments : application to gesture learning

Résumé

In the light of our work, we were interested in precise gesture learning in virtual environment. In these environments, learners can train in safer and longer training sessions than in real environments, using augmented feedback that wouldn’t be available otherwise—such as a 3D trace of canonical movements or the opportunity to see your gesture from a different point of view. However, in the context of gesture guidance, most of the usual visual metaphors do not tackle the dependency they generate. The guidance hypothesis, from motor learning theories, states that the continuous use of feedback during early phases of learning leads to a dependency on the feedback. Learners are no longer able to properly reproduce the requested gesture or task without the help of this feedback. However, in virtual environments the use of augmented feedback remains necessary for training. To deal with this issue, we propose a new dynamic metaphor for 3D interaction in virtual environments, based on the visual modality. Our approach is focus users’ training on their intrinsic feedback, by using a trial-and-error strategy. Our metaphor shows users’ trajectory errors in real time, implicitly spurring them to correct these errors. We assume that when the metaphor is no longer visible, learners are able to properly reproduce the gesture using their past experiences. We conducted a first experiment to evaluate the capacity of our metaphor to properly guide learners during gesture training. Then, a second experiment showed that the metaphor allowed learners to improve their performance and that it further reduced the dependency than usual guiding metaphors.