Annotations gestuelles pour capitaliser les interactions en environnement virtuel informé : application à la maintenance industrielle

par Jérôme Olive

Thèse de doctorat en Technologies de l'information et des systèmes

Sous la direction de Indira Thouvenin.

Soutenue en 2010

à Compiègne .

mots clés

• Environnements virtuels informés
• Evi
• Capitalisation des connaissances
• Capitalisation des gestes
• Interactions
• Annotations 3D
• Maintenance industrielle
• Annotations gestuelles
• Réalité virtuelle
• Apprentissage
• Gestion des connaissances
• Gestes
• Usines -- Entretien

Résumé

Cette thèse porte sur la capitalisation de connaissances en environnement virtuel informé (EVI) pour la formation à la maintenance industrielle. Un EVI est un environnement virtuel doté de modèles à base de connaissances dans lequel il est possible à la fois d'interagir et de permettre des comportements par interprétation de représentations dynamiques ou statiques. Cependant, aucun système ne propose aujourd'hui de capitaliser les gestes en environnement virtuel. À la suite de la création et de l'étude d'une formation à la production de pneumatique par la réalité virtuelle, nous avons engagé un travail sur la capitalisation de connaissance in virtuo. Notre approche est de considérer le geste technique, chorégraphique ou de communication comme une connaissance à part entière. Cette connaissance empirique est habituellement associée au mouvement du corps, d'où la notion de cognition incarnée. Nous proposons un modèle d'annotation gestuelle permettant une capitalisation du geste, sous la forme d'une extension des annotations 3D. Un prototype basé sur ce modèle a été développé (Ptolémée), et permet la capitalisation et le partage de connaissances pour la maintenance industrielle. Les perspectives principales de nos travaux sont l'interaction naturelle, le paramétrage des annotations pour leur réexploitation et enfin l'assistance dynamique à l'apprentissage en EVI.

Titre traduit

Gestural annotations to capitalize interactions in informed virtual environment : application to industrial maintenance

Résumé

This thesis relates to knowledge capitalisation in informed virtual environment (IVE) for industrial maintenance training. An IVE is a virtual environment including knowledge based models in which it is possible to both interact and allow behaviours by interpretation of dynamic or static representations. Today there is no system proposing a gesture capitalisation in virtual environments. Following the creation and study tire production training by virtual reality, we have initiated a work on knowledge capitalisation in virtuo. Our approach is to consider gesture: technical, choreographic or communication gesture as knowledge. This empirical knowledge is usually associated to body movements: this is the concept of embodied cognition. We propose a model of gestural annotation allowing a capitalisation of the gesture as an extension of 3D annotations. A prototype based on this model has been developed (Ptolémée), and allows knowledge capitalisation and sharing of for industrial maintenance. The main perspectives of our work are natural interaction, knowledge capitalisation and finally dynamic assistance for training in IVE.