Restitution vidéo stéréoscopique maîtrisée : application à la Réalité Virtuelle

by Fabien Goslin

Doctoral thesis in Informatique

Under the supervision of Simon Richir and Florian Schramm.

defended on 2010

in Paris, ENSAM .

  • Alternative Title

    Depth-controlled rendering of stereoscopic video images for virtual reality applications


  • Abstract

    Acquiring 3D scenes can be achieved by using a pair of video cameras (stereo rig). The acquisition process of these stereoscopic video images and their projection on 3D display systems is a wide-extending field which borrows from the technologies of virtual reality, computer vision and 3D filming. Within this wide field, we focused our research work on the projection in 3D of images captured by a fixed stereo rig, on virtual reality systems. The use of this technology was limited by numerous constraints (pertaining essentially to capture configurations and display conditions). In this PhD thesis, we detail the improvements we brought to some of the steps of the stereo transmission process, in order to control more precisely the display of stereoscopic videos and to alleviate some of the limitations mentioned above. We based our work on detailed mathematical modeling of the cameras, and of the capture and the display configurations. First, it was necessary to work on stereoscopic images as little distorted as possible. To obtain such images, we developed an algorithm that corrects distortions on these images. To ensure real-time rectification, we implemented this algorithm on GPU (Graphics Processing Unit), through the use of a technique based on reference tables. The interocular distance is a fundamental step to make a full use of virtual reality system. In spite of the fact that significant disparities exist from one user to another, an average value is often used for this parameter. In order to set correctly this critical parameter, we developed a method to calibrate the interocular distance of each user, so that the display of stereoscopic images on these systems will provide a more accurate perception. Finally, while viewers in 3D theaters sit in a defined area in front of the projection screen, allowing users to move freely is one of the main characteristics of virtual reality systems. To overcome the difficulties that occur when projecting images captured by a fixed stereo rig to a user in motion, we propose a method to improve the restitution of the depth perceived by the user, using a depth segmentation of the captured scene.


  • Abstract

    La capture en relief d'une scène réelle peut être réalisée grâce à un couple de caméras vidéo (banc stéréoscopique). La capture de ces images vidéo stéréoscopiques et leur restitution sur des systèmes de projection en relief sont à l'interface entre les domaines de la réalité virtuelle, de la vision par ordinateur, et du cinéma en relief. Placé au sein de cette très vaste thématique, ce travail concerne la projection en relief, sur des systèmes de Réalité Virtuelle, d'images issues d'une capture par un banc stéréoscopique fixe. De très nombreuses contraintes (limitations des configurations de capture et des conditions de restitution notamment) ont restreint l'utilisation de cette technologie. Dans ce mémoire de thèse, nous détaillons les améliorations que nous avons apportées à certaines étapes de la chaîne de transmission stéréoscopique, afin de maîtriser la restitution de vidéos stéréoscopiques. Pour atteindre cet objectif, nous avons réalisé une modélisation mathématique détaillée des caméras, et des différentes configurations de capture et de restitution que nous utilisons. Disposer d'images stéréoscopiques les moins déformées possibles était un point de départ indispensable à la suite de notre travail. Dans ce but, nous avons développé un algorithme de rectification d'images vidéo stéréoscopiques. Afin d'assurer une rectification temps réel, nous avons implémenté cet algorithme sur processeur de carte graphique (GPU ou Graphics Processing Unit), en mettant en place une technique à base de table de référence. La distance interoculaire de l'utilisateur est un paramètre important pour assurer une bonne restitution des images sur les systèmes de Réalité Virtuelle. Pourtant par commodité, la valeur moyenne de cet écart est souvent prise comme référence, alors que d'importantes différences existent d'un utilisateur à l'autre. Afin d'améliorer la restitution en fixant plus précisément ce paramètre critique, nous avons développé une méthode de calibration de la distance interoculaire de l'utilisateur. Enfin, alors que les spectateurs des salles de cinéma en relief sont assis dans une zone bien définie devant l'écran, le déplacement des utilisateurs devant le système de projection d'images stéréoscopiques est une caractéristique des systèmes de Réalité Virtuelle. Pour palier aux problèmes que l'on rencontre lors de la projection d'images issues d'un banc stéréoscopique fixe pour un utilisateur en mouvement, nous proposons une méthode pour maitriser la restitution de la profondeur perçue par cet utilisateur, en nous basant sur une segmentation en profondeur de la scène.

Consult library

Version is available as a paper

Informations

  • Details : 1 vol. (VIII-149 p.)
  • Notes : Publication autorisée par le jury
  • Annexes : Bibliogr. p. 119-127

Where is this thesis?

  • Library : Arts et Métiers ParisTech. Centre d'enseignement et de recherche. Bibliothèque.
  • Available for PEB
See the Sudoc catalog libraries of higher education and research.