A floating polygon soup representation for 3D video

par Thomas Colleu

Thèse de doctorat en Traitement du signal et télécommunications

Sous la direction de Luce Morin et de Stéphane Pateux.

Soutenue en 2010

à Rennes 1 .

  • Titre traduit

    Représentation par soupe de polygones déformables pour la vidéo 3D


  • Résumé

    This thesis presents a new data representation for 3D video. Starting from a sequence of multi-view video plus depth (MVD), the representation called floating polygon soup takes into account all together compactness, compression efficiency, and view synthesis quality. It is made of a set of polygons stored in 2D with depth values at each corners. The polygons are not necessarily connected to each others and can be deformed (or floated) through space and time. The polygon soup is extracted from MVD data in two steps: first, quadtree decomposition of the depth maps, second, redundancy reduction across the views. It results in a compact set of polygons that replace the depth maps while preserving depth discontinuities and geometric details. It also reduces the so-called ghosting artifacts. Next, the representation is evaluated at the compression and view-synthesis steps. For view synthesis, classical methods are adapted to the polygon soup for obtaining good quality virtual views. For compression, a new quadtree-based method is proposed. It exploits the quadtree structure and limits coding artifacts. This method is compared with an existing MVD compression scheme based on MPEG's H. 264/MVC. Finally, the polygon soup is floated according to the desired viewpoint in order to reduce remaining artifacts and improve the final image quality. This view-dependent geometry is guided by motion estimation between synthesized and original views.


  • Résumé

    Cette thèse présente une nouvelle représentation de données pour la vidéo 3D. A partir d'une séquence multi-vues plus profondeur (MVD), la représentation, appelée soupe de polygones déformables prend en compte de façon unifiée les problèmes de compacité, efficacité de compression, et synthèse de vue. Cette représentation est faite d'un ensemble de polygones 3D définis en 2D avec des valeurs de profondeurs à chaque coin. Les polygones ne sont pas nécessairement connectés entre eux. Ils peuvent aussi se déformer en fonction du point de vue et de l'instant dans la séquence vidéo. La soupe de polygones est extraite de données MVD en deux étapes: la première est la décomposition en quadtree des cartes de profondeur, la deuxième est la réduction des redondances inter-vues. Un ensemble compact de polygones est obtenu à la place des cartes de profondeur, tout en préservant les discontinuités de profondeurs et les détails géométriques. La méthode permet aussi de réduire les effets fantômes. Ensuite, la représentation est évaluée aux étapes de compression et synthèse de vue. Pour la synthèse de vue, des méthodes classiques sont adaptées à la soupe de polygones afin d'obtenir des vues virtuelles de bonne qualité. Pour l'étape de compression, une nouvelle méthode basée sur la structure du quadtree est proposée. Cette méthode est comparée à un schéma de compression MVD utilisant le standard MPEG H. 264/MVC. Enfin, la soupe de polygone est déformée en fonction du point de vue désiré afin de réduire les artefacts et ainsi améliorer la qualité finale de l'image. Cette géométrie dépendante du point de vue est guidée par l'estimation du mouvement entre les vues synthétisées et originales.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (183 p.)
  • Notes : Publication autorisée par le jury
  • Annexes : Bibliogr. p. 173-183

Où se trouve cette thèse ?

  • Bibliothèque : Université de Rennes I. Service commun de la documentation. Section sciences et philosophie.
  • Disponible pour le PEB
  • Cote : TA RENNES 2010/201
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.