Analyse multi-vues d'objets 3D pour interactions collaboratives

par Rachid Guerchouche

Thèse de doctorat en Informatique. Sciences de l'image numérique

Sous la direction de Françoise Prêteux.


  • Abstract

    Cette thèse traite de la reconstruction 3D d'objets réels pour des applications d'interactions collaboratives. L'objectif est de reconstruire un objet 3D à partir d'un faible nombre de vues calibrées (entre 8 et 12), puis d'insérer les modèles obtenus dans des environnements collaboratifs partagés distants, où ils peuvent être visualisés et manipulés par un ensemble d'utilisateurs. En premier lieu, dans l'introduction générale, nous présentons le contexte des travaux engagés avec la description du système d'acquisition mis en œuvre au sein de notre laboratoire et en soulignant le lien entre le calibrage de ce système, l'acquisition d'images, la reconstruction 3D d'objets réels et les interactions collaboratives. Ensuite, dans le premier chapitre nous rappelons les principes de la géométrie 3D appliqués à la vision par ordinateur. En particulier, nous présentons les deux modèles de caméra les plus utilisés (linéaire et non-linéaire), ainsi que des éléments de vision stéréoscopique utiles à la compréhension du reste du document. Le deuxième chapitre aborde la problématique du calibrage de caméras. Après un état de l'art sur les méthodes de calibrage existantes, nous proposons une nouvelle méthode de calibrage fondée sur une estimation robuste de la matrice de projection perspective. La mire utilisée est un cube dont les faces sont de couleurs différentes. Dans sa formulation de base, la méthode utilise une seule image du cube par caméra. Toutefois, pour augmenter la précision de l'estimation, plusieurs images du cube peuvent être également utilisées. La grand avantage de la méthode est lié à l'interaction utilisateur requise, qui est minimisée. Pour valider notre approche, une méthdologie d'évaluation et de comparaison des méthodes de calibrage, avec nouveaux critères de performances objectifs, est également proposée. Les critères introduits sont fondés sur la rectification et la reconstruction 3D d'un ensemble de points 3D coplanaires, l'utilisation d'une mire virtuelle, ainsi qu'une ré-estimation des paramètres connus d'un capteur stéréoscopique. La méthode de calibrage proposée est enfin testée et validée en utilisant l'ensemble de ces critères. Dans le troisième chapitre, nous abordons la reconstruction 3D d'objets réels. Après un état de l'art des méthodes existantes, nous proposons une nouvelle méthode de reconstruction 3D avec une approche par vision passive multi-résolution. Deux nouvelles contributions permettent l'estimation de la visibilité et de la photo-cohérence d'un voxel. Cette méthode de reconstruction 3D est adaptée à l'application d'interactions collaboratives avec objets 3D. Des expérimentations en utilisant des images issues de différentes bases de données sont présentées pour valider les performances de l'algorithme proposé. Le dernier chapitre est consacré aux interactions collaboratives avec objets 3D reconstruits. Dans un premier lieu, nous présentons un positionnement de nos travaux de recherche au sein des laboratoires de France Télécom R\&D - Orange Labs. Le protocole de calibrage du système d'acquisition mis en œuvre est ensuite présenté, ainsi que les résultats des reconstructions 3D de différents objets réels. Enfin, nous présentons la manipulation des objets 3D reconstruits au sein des trois interfaces MOWGL, DigiTable et Spin3D disponibles chez France Télécom R&D? Cela nous permet de valider l'ensemble de la chaîne méthodologique proposée et de démontrer sa pertinence pour des applications d'interaction collaborative. Enfin, une section de conclusions générales synthétise les différentes contributions proposées dans ce travail de thèse et ouvre des perspectives de travail futur.

  • Alternative Title

    Multi-view 3D objects analysis for collaborative interactions


  • Résumé

    The objective of this thesis is the 3D reconstruction of real objects for collaborative interactions. Within this framework, the goal is to reconstruct an object from a small number of calibrated views (8 to 12 images), and then insert the obtained numerical models into shared collaborative environments for further visualization and manipulation. The thesis is organized as follows. First, in the general introduction, we introduce the context of the research presented in this work. We present the acquisition system developed within our laboratory, and show the relationship between the calibration of this system, the image acquisition process, and the collaborative interactions with the reconstructed objects. Then, in a first chapter, we present some aspects of 3D geometry applied to computer vision. We present the projective geometry theory, the classical linear and non-linear camera models, and some stereoscopic vision results useful for the rest of the document. The second chapter is dedicated to the issue of camera calibration. After a state-of-the-art of camera calibration methods, we propose a robust camera calibration method based on the robust estimation of the perspective projection matrix. The calibration pattern used is a cube with faces of different colours. The proposed calibration algorithm uses one image per camera to perform the calibration. However, in order to increase the accuracy of the camera parameters estimation, multiple images can also be used. Our method yields a robust estimation of the camera parameters while minimizing the amount of user interaction requested. In order to validate the method, we introduce a set of new objective criteria for evaluation and comparison of camera calibration methods. The proposed criteria are based on rectification and 3D reconstruction of an unknown coplanar point set, a virtual pattern, and the re-estimation of the known parameters of stereoscopic systems. Our calibration method is finally validated according to the proposed criteria. The third chapter3D tackles the issue of 3D reconstruction of real objects. After a comprehensive state-of-the-art of 3D reconstruction methods, we present our proposed multiresolutiuon 3D reconstruction algorithm, which is adapted to collaborative interaction tasks. Our contributions specifically concern new algorithms for voxel visibility and photo-consistency estimation. The proposed 3D reconstruction method is then tested and validated upon a set of images of real objects from existing benchmark databases. The fourth chapter handles the collaborative interactions with 3D objects. First, the calibration of our acquisition system composed of eight cameras is presented. Experimental results concerning 3D reconstruction of objects available in our laboratory are then presented. Finally, collaborative interactions with the reconstructed objects are illustrated within the framework of three existing interfaces in the France Telecom R\&D laboratories: MOWGLI, DigiTable and Spin3D. A concluding section summarizes the contributions of this thesis and opens perspectives of future work.

Consulter en bibliothèque

Version is available sous forme papier

Informations

  • Details : 1 vol. (174 p.)
  • Annexes : Bibliogr. p. 151-166. Résumé en français et en anglais

Where is this thesis?

  • Library : Université d'Evry-Val d'Essonne. Service commun de la documentation. Bibliothèque centrale.
  • Available on site in the applicant institution
  • Cote : 006.6 GUE ana
  • Bibliothèque : Télécom SudParis & Télécom Ecole de Management. Médiathèque.
  • Non disponible pour le PEB
  • Cote : THESE-2008-GUE
  • Bibliothèque : Télécom SudParis & Télécom Ecole de Management. Médiathèque.
  • Disponible pour le PEB
  • Cote : THESE-2008-GUE
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.