Squelettes pour la reconstruction 3D : de l'estimation de la projection du squelette dans une image 2D à la triangulation du squelette en 3D

par Bastien Durix

Thèse de doctorat en Signal, Image, Acoustique et Optimisation

Sous la direction de Géraldine Morin et de Sylvie Chambon.

Le président du jury était Adrien Bartoli.

Le jury était composé de Géraldine Morin, Sylvie Chambon, Stéfanie Hahmann, Jean-Luc Mari, Mathieu Desbrun, Vincent Charvillat.

Les rapporteurs étaient Stéfanie Hahmann, Jean-Luc Mari.


  • Résumé

    La reconstruction 3D consiste à acquérir des images d’un objet, et à s’en servir pour en estimer un modèle 3D. Dans ce manuscrit, nous développons une méthode de reconstruction basée sur la modélisation par squelette. Cette méthode a l’avantage de renvoyer un modèle 3D qui est un objet virtuel complet (i.e. fermé) et aisément éditable, grâce à la structure du squelette. Enfin, l’objet acquis n’a pas besoin d’être texturé, et entre 3 et 5 images sont suffisantes pour la reconstruction. Dans une première partie, nous étudions les aspects 2D de l’étude. En effet, l’estimation d’un squelette 3D nécessite d’étudier la formation de la silhouette de l’objet à partir de son squelette, et donc les propriétés de sa projection perspective, appelée squelette perspectif. Cette étude est suivie par notre première contribution : un algorithme d’estimation de la projection perspective d’un squelette 3D curviligne, constitué d’un ensemble de courbes. Cet algorithme a toutefois tendance, comme beaucoup d’algorithmes estimant un squelette, à générer des branches peu informatives, notamment sur une image rastérisée. Notre seconde contribution est donc un algorithme d’estimation de squelette 2D, capable de prendre en compte la discrétisation du contour de la forme 2D, et d’éviter ces branches peu informatives. Cet algorithme, d’abord conçu pour estimer un squelette classique, est ensuite généralisé à l’estimation d’un squelette perspectif. Dans une seconde partie, nous estimons le squelette 3D d’un objet à partir de ses projections. Tout d’abord, nous supposons que le squelette de l’objet 3D à reconstruire est curviligne. Ainsi, chaque squelette perspectif estimé correspond à la projection du squelette 3D de l’objet, sous différents points de vue. La topologie du squelette étant affectée par la projection, nous proposons notre troisième contribution, l’estimation de la topologie du squelette 3D à partir de l’ensemble de ses projections. Une fois celle-ci estimée, la projection d’une branche 3D du squelette est identifiée sur chaque image, i.e. sur chacun des squelettes perspectifs. Avec cette identification, nous pouvons trianguler les branches du squelette 3D, ce qui constitue notre quatrième contribution : nous sommes donc en mesure d’estimer un squelette curviligne associé à un ensemble d’images d’un objet. Toutefois, les squelettes 3D ne sont pas tous constitués d’un ensemble de courbes : certains d’entre eux possèdent aussi des parties surfaciques. Notre dernière contribution, pour reconstruire des squelettes 3D surfaciques, est une nouvelle approche pour l’estimation d’un squelette 3D à partir d’images : son principe est de faire grandir le squelette 3D, sous les contraintes données par les images de l’objet.

  • Titre traduit

    Skeletons for 3D reconstruction : from the estimation of the skeleton projection in a 2D image to the triangulation of the 3D skeleton


  • Résumé

    The principle of 3D reconstruction is to acquire one or more images of an object, and to use it to estimate a 3D model of the object. In this manuscript, we develop a reconstruction method based on a particular model, the skeleton. The main advantages of our reconstruction approach are: we do reconstruct a whole, complete objet, and thanks to the skeleton structure, easily editable. Moreover, the method we propose allows us to free ourselves from constraints related to more classical reconstruction methods: the reconstructed object does not need to be textured, and between 3 and 5 images are sufficient to perform the reconstruction. In the first part, we focus on the 2D aspects of the work. Indeed, before estimating a 3D skeleton, we study the perspective silhouette of the object, and thus evaluate the properties of the perspective projection of the skeleton. Thus, our first contribution is an algorithm estimating the perspective projection of a curvilinear 3D skeleton, consisting of a set of curves. This algorithm, however, like most skeletonisation algorithms, tends to generate non-informative branches, in particular on a rasterized image. Our second contribution is thus an original 2D skeleton estimation algorithm, able to take into account the noise on the contour of the 2D shape, and to avoid uninformative skeleton branches. This algorithm, first designed to estimate a classical skeleton, is then generalized for computing a perspective skeleton. In a second part, we estimate the 3D skeleton of an object from its projections. First, we assume that the skeleton of the considered object is curvilinear. Thus, each estimated perspective skeleton corresponds to the projection of the 3D skeleton, from several viewpoints. The topology of the skeleton is however affected by the perspective projection, so we propose our third contribution: the estimation of the topology of the 3D skeleton based on its projections. Once this topology is estimated, for any 3D branch of the skeleton we indentify its projections on each image, that is a branch on each of the perspective skeletons. From this identification, we triangulate the branches of the 3D skeleton, which is our fourth contribution. Thus, we are able to estimate a curvilinear skeleton associated with a set of images of a 3D object. However, 3D skeletons are not necessarily made up of a set of curves, and some of them also have surface parts. Our last contribution is a new approach for the estimation of a general 3D skeleton (with surface parts) from images, which principle is to increase the 3D skeleton under the constraints given by the different images of the object.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse ?

Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.