Modélisation, suivi et simulation d'objets articulés et déformables : application au modelage réel d'une argile virtuelle

Modelization, tracking and simulation of articulated and deformable objects : applied to the real sculpting of a virtual clay

• Auteur / Autrice : Guillaume Dewaele
• Direction : Radu Horaud, Marie-Paule Cani
• Type : Thèse de doctorat
• Discipline(s) : Imagerie, vision, robotique
• Date : Soutenance en 2005
• Etablissement(s) : Grenoble INPG

Résumé

Encouragée, entre autres choses, par les progrès récents dans les domaines des images de synthèse et de la vision, la réalité virtuelle a pris, ces dernières années, une importance croissante. Les moyens d'interaction entre les mondes réel et virtuel restent encore, dans une large part, à inventer. Notre propos était d'étudier et de développer quelques outils qui permettraient, par exemple, à un sculpteur de travailler une argile virtuelle. Nous souhaiterions qu'il fût possible, à l'aide de mouvements parfaitement naturels exécutés de la main face à des caméras vidéo, d'agir sur un matériau virtuel, de la même façon que l'on pourrait le faire avec son pendant réel. Dans ce but, nous avons développé un matériau virtuel, reproduisant l'essentiel des comportements que l'on peut attendre d'une argile : déformations à petite et grande échelles, changement de topologie, etc, grâce à la collaboration de plusieurs couches de simulation. Un première couche modélise les déplacements locaux de matière et assure la conservation du volume ; une deuxième couche simule les déformations à grande échelle du matériau ; une troisième et dernière couche s'occupe des effets de tension de surface. Nous avons également posé les bases d'une interface fondée sur la vision permettant le contrôle d'un tel matériau. Nous proposons un système de suivi robuste des mouvements de la main. Ce suivi regroupe deux techniques. Le mouvement est estimé grâce à une mise en corrrespondance de points d'intérêt basée sur EM, capable de déterminer les mise en correspondance en rejetant d'évetuels points aberrants, et le resultat est affiné par un ajustement aux données d'un modèle de main articulé et déformable.

Following the recent developments in the fields of computer graphies and vision, virtual reality recently became a subjet of great interest. Though, the means for interaction between the real and virtual worlds still need to be invented. Our goal was to study and develop some tools which would allow, for example, an artist to work with a virtual clay. We wiould like that natural gestures of its hands, in front of video cameras, could act on this virtual material the same way as it would with a real counterpart. To achieve this, we developped a virtual clay, featuring most of the behaviours of a real clay : local and large-scale deformations, changes in topology, and so on. We combined three layers of simulation. The first one simulates local displacements of the clay, and enforces volume conservation. The second one allows large-scale deformations to be performed. The last one simulates surface tension effects, to avoid dispersion. We also purpose a vision-based hand tracker in order to interact with our virtual clay. For more robustness, we combined two approache for tracking. First, movement is estimated from the motion of 3D points of interest, extracted from video sequences. We developped and. Used for this an automatic registration of the points between to frames based on EM, able to reject outliers. Then, the result is corrected be fitting an articulated and deformable model of the hand to the data.