Contribution à la communication gestuelle dans les environnements virtuels collaboratifs

par José Marques Soares

Thèse de doctorat en Réseaux avancés de connaissances et organisations

Sous la direction de Bernadette Dorizzi.

Soutenue en 2004

à Evry, Institut national des télécommunications .

mots clés

• Groupes de travail virtuels
• Réalité virtuelle -- Systèmes de communication
• Gestes

Résumé

Le geste est l'un des moyens de la communication humaine. Il peut être associé à d'autres canaux de communication, comme la parole, voire être utilisé comme expression privilégiée, par exemple, dans la langue de signes. Les gestes, de manipulation ou de communication, peuvent aussi apporter une très grande valeur ajoutée dans le travail collaboratif autour d'applications à distance. La vidéo est la technologie la plus répandue pour supporter cette communication, mais au prix d'une charge réseau importante et d'une interface complexe, difficilement intégrable dans l'espace commun. Alternativement, les environnements virtuels synthétiques permettent cette intégration de façon cohérente de l'objet de partage ainsi que des collaborateurs physiquement éloignés. Dans ces environnements, la communication gestuelle peut être établie à distance et à bas débit par animation des humanoi͏̈des virtuels. Notre contribution repose sur l'intégration de la communication gestuelle dans le travail collaboratif à distance. Nous proposons un environnement de partage d'applications 2D dans un monde virtuel habité dans lequel cette communication est réalisée par des avatars, soit par simulation des interactions d'un participant sur l'application partagée, soit par une bibliothèque de gestes communicatifs prédéfinis, dissociés des interactions sur l'application partagée. Nous avons aussi développé un système d'acquisition 3D des gestes en temps réel par vision monoscopique et sans marqueurs. Ce système a été intégré à l'environnement de partage, en permettant la restitution à distance des gestes pendant l'acquisition. Un prototype de l'environnement virtuel collaboratif et du système d'acquisition des gestes a été réalisé au moyen d'ordinateurs personnels de type grand public

Titre traduit

A contribution to gesture based communication in collaborative virtual environments

Résumé

Gesture is an important means of human communication. It can be associated with other means such as voice or it can be the main channel as in sign language. When co-workers share a remote application, gestures can improve reciprocal awareness. Video is one of the technological resources available for gestural communication in collaborative environments, but it requires high bandwidth and complex interfaces (for example, with on window per user) that may be poorly integrated in the collaborative environment. Alternatively, synthetic virtual environments allow this integration of distant collaborators and other objects. In these environments, remote gestural communication can be achieved at low bandwidth using virtual humans (avatars). Our contribution is based on the concept of a virtual inhabited world for remote sharing of 2D applications that integrates gestural communication. In this environment, avatars simulate user interactions on the application interface. Furthermore, they support predefined communicative gestures, independently from user actions on the application. Moreover, we have developed a prototype system for real time gesture acquisition using a single camera and without markers. This system has been integrated into our virtual inhabited world and it allows gestural communication with avatar remote animation from grabbed gesture. The collaborative virtual environment and the gesture acquisition system have been implemented with low cost personal computers