Manipulation virtuelle des représentations 3D d'objets culturels

par Ammar Ahmad

Projet de thèse en Instrumentation et informatique de l'image

Sous la direction de Albert Dipanda et de Cyrille Migniot.

Thèses en préparation à Bourgogne Franche-Comté , dans le cadre de SPIM - Sciences Physiques pour l'Ingénieur et Microtechniques , en partenariat avec ImViA - Laboratoire d'Imagerie et Vision Artificielle (laboratoire) et de Pôle 5 - Systèmes de vision et Méthodes d'imagerie (equipe de recherche) depuis le 07-10-2015 .


  • Résumé

    Une tendance croissante consiste à étudier la Réalité Virtuelle (RV) au service du patrimoine culturel. Les plus grands musées du monde proposent aujourd'hui à leurs visiteurs différents outils de réalité virtuelle ou augmentée pour une expérience culturelle enrichie. Dans une visite classique d'un musée, les objets culturels exposés ne sont pas accessibles. Les visiteurs ne peuvent pas les toucher ni les manipuler. L'un des apports de la RV est d'offrir une dimension supplémentaire d'interactivité : les visiteurs deviennent des acteurs placés au centre de l'expérimentation virtuelle et capables d'interagir avec les différentes entités culturelles composant l'univers simulé. Notre projet a pour cadre l'interaction 3D avancée au service des musées du futur. Sa finalité est de permettre aux visiteurs d'un musée une activité sensori-motrice dans un environnement virtuel ou augmenté : manipuler la maquette numérique d'objets culturels exposés. Le but est donc de suivre les interactions 3D entre les mains d'un visiteur évoluant dans le monde réel et des objets culturels 3D évoluant dans un monde virtuel. Le suivi visuel sans marqueur des mouvements de la main est un élément clé et populaire des études d'interaction dans de nombreux domaines tels que la réalité virtuelle et les interfaces naturelles homme-ordinateur. Bien que ce domaine de recherche ait été bien étudié au cours des dernières décennies, la plupart des approches ont considéré la main humaine en isolation et non pas en action ou en interaction avec l'environnement ou les autres parties articulées du corps humain. L'utilisation d'information contextuelle sur l'environnement (par exemple, la forme, la texture et la posture de l'objet dans la main) peut contraindre considérablement le problème de suivi. Les contraintes contextuelles les plus étudiées impliquent interaction avec des objets réels et non pas avec des objets virtuels qui reste tout un défi. Le suivi des mains manipulant des objets virtuels semble donc être une avenue de recherche particulièrement prometteuse.

  • Titre traduit

    Virtual Manipulation of 3D Cultural Objects


  • Résumé

    An increasing trend is to study Virtual Reality (VR) at the service of cultural heritage. Nowadays, the world's largest museums offer an enriched and interactive cultural experience to their visitors by using different virtual and augmented reality tools. In a classical visit, the cultural objects exhibited in the museum are not accessible. Visitors can not touch or manipulate them. One of the contributions of VR is to offer an additional dimension of interactivity: visitors become actors placed at the center of virtual experimentation and able to interact with the different cultural entities composing the simulated universe. Our project is based on advanced 3D interaction at the service of museums of the future. Its goal is to track 3D interactions between visitor's hands evolving in the real world and 3D cultural objects evolving in a virtual world. Markerless vision-based 3D hand motion tracking is a key and popular component for interaction studies in many domains such as virtual reality and natural human-computer interfaces. While this research field has been well studied in the last decades, most approaches have considered the human hand in isolation and not in action or in interaction with the environment or the other articulated human body parts. Employing contextual information about the surrounding environment (e.g. the shape, the texture, and the posture of the object in the hand) can remarkably constrain the tracking problem. The most studied contextual constraints involve interaction with real objects and not with virtual objects which is still a very big challenge. Tracking hands manipulating virtual objects thus seems to be a very promising avenue for future research.