Matching between images of distant point of view by utilisation of depth map

• Auteur / Autrice : Narut Soontranon
• Direction : Marc Pierrot-Deseilligny, El Mustapha Mouaddib
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2013
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Méthodes d'Analyses pour le Traitement d'Images et la Stéréorestitution (Saint-Mandé, Val de Marne) - Modélisation, Information et Systèmes (Amiens)
• Jury : Président / Présidente : Claude Pégard
• Jury : Examinateurs / Examinatrices : Marc Pierrot-Deseilligny, El Mustapha Mouaddib, David Fofi, João Araujo Ribeiro, Pascal Monasse
• Jury : Rapporteurs / Rapporteuses : David Fofi, João Araujo Ribeiro

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Infographie

Mots clés libres

Caméra stéréo

Acquisition multi-stéréoscopie

Ortho-rectification

Reconstruction 3D

Sift

Résumé

Le travail présenté dans cette thèse s'intéresse à l'extraction de points homologues entre images acquises de points de vue différents qui est une étape préliminaire indispensable dans de nombreuses applications, particulièrement la reconstruction 3D. Les algorithmes existants sont très efficaces sur des images lorsque les points de vue sont suffisamment proches mais, au-delà d'un certain seuil, leurs performances peuvent baisser de manière drastique. Nous nous intéressons aux cas où, en plus de la radiométrie, on peut associer à chaque pixel une information de profondeur, celle-ci peut venir de différents systèmes (LIDAR, caméra RGB-D, appareil photographique plénoptique). Notre démarche est d'utiliser cette information pour résoudre les problèmes de distorsion entre points de vue qui rendent inopérantes les méthodes n'utilisant que la radiométrie. Une première approche traite les scènes de surface plane (environnements urbains, architectures modernes) en redressant ladite surface orthogonalement. Une seconde approche s'applique aux scènes 3D plus complexes (collections de musées, sculptures) ; nous nous appuyons sur les projections cartographiques conformes. Pour ces deux schémas, notre contribution permet d'améliorer sensiblement la détection des points homologues, aussi bien au niveau de leur quantité que de leur répartition (en comparant avec les algorithmes: SIFT, MSER et ASIFT). Les résultats de comparaison montrent que les points homologues obtenus avec nos approches sont nombreux et bien répartis dans les images

The work presented in this thesis focuses on extraction of homologous points (point matches) between images acquired from different viewpoints. This is a first essential step in many applications, particularly 3D reconstruction. Existing algorithms are very efficient for the images closed viewpoints but the performance can drop drastically for wide baseline images. We are interested in case that, in addition of radiometry, we have a depth information associated each pixel. The information can be obtained from different systems (LIDAR, RGB-D camera, light field camera). Our approach uses this information to solve the problem of distortion between the viewpoints, which is not efficient by the methods using only the radiometry. The first approach deals with planar surface scenes (urban environment, modern building). Each planar region is rectified to orthogonal view. The second approach is applied for more complex scenes (museum collections, sculptures). We rely on projection of conformal mapping. For two schemes, our contributions have efficiently improved the detection of point matches, both in terms of their quantity and their distribution (comparing with the algorithms: SIFT, MSER and ASIFT). Comparative results show that the homologous points obtained by our approach are numerous and efficiently distributed on the images