Fusion of sonar and stereo images for underwater archeology

par Yadpiroon Onmek

Thèse de doctorat en Systèmes automatiques et micro-électroniques

Sous la direction de Bruno Jouvencel.

Soutenue le 19-12-2017

à Montpellier , dans le cadre de I2S - Information, Structures, Systèmes , en partenariat avec Laboratoire d'Informatique de Robotique et de Microélectronique de Montpellier / LIRMM (laboratoire) .

Le président du jury était Sylvie Lelandais Bonadè.

Le jury était composé de Bruno Jouvencel, Sylvie Lelandais Bonadè, Pierre Drap, Jean Triboulet.

Les rapporteurs étaient Pierre Drap.

  • Titre traduit

    Fusion de données sonar et stéréoscopiques : application à l’archéologie sous-marine


  • Résumé

    L’objectif de ce travail est de reconstruire en 3D des objets archéologiques en environnement sousmarin. Une méthode de fusion est proposée afin d’obtenir une carte 3D à partir de données sonar et du système de stéréovision sous marin.Le manuscrit est décomposé en deux parties principales : Dans une première partie, la reconstruction d’objets 3D est réalisée à partir d’un système utilisant une paire de caméras stéréoscopiques. La seconde partie utilise les données 3D de l’environnement sous marin à partir d’un sonar multifaisceaux. Ensuite, les deux informations sont mises en correspondance, données optiques et acoustiques, nécessitant de prendre en compte les différentes résolutions de ces deux capteurs.La première partie se concentre sur le système optique permettant la reconstruction 3D des objets avec la paire stéréoscopique. Le travail se fait à partir de la séquence vidéo enregistrée par des plongeurs dans des environnements dont la complexité est croissante (piscine, lac, mer). L’utilisation d’une mire de calibration sous marine permet la calibration de chaque caméra afin d’en exprimer le modèle interne, puis de déterminer les paramètres externes de rotation et de translation entre les deux caméras stéréoscopiques.La difficulté de ce travail est de construire une reconstruction 3D à partir de la séquence vidéo stéréoscopique et d’extraire les paires d’images permettant d’y parvenir.La recherche de points d’intérêts et leur mise en correspondance est réalisée en appliquant la méthode de RANSAC. La triangulation des informations pertinentes des images 2D vers le nuage de points 3D est réalisée à partir du modèle à projection centrale et l’estimation de la distance euclidienne. La texture et le rendu 3D sont ensuite obtenus par rétropropagation de ces informations dans les images 2D. La séquence temporelle des images permet une reconstruction 3D des points de l’objet en estimant les différentes transformations entre les paires d’image et en se basant sur une méthode type Structure From Motion.La seconde partie permet d’effectuer la fusion de ce modèle 3D avec la carte acoustique fournie par le sonar multifaisceaux. Afin de guider l’alignement des deux modèles, une initialisation manuelle est nécessaire, en sélectionnant des points d’intérêt sur les deux nuages de points. La mise en correspondance est finalisée par un algorithme d’Iterative Closest Points.Ce travail a permis la création d’une carte 3D multimodale utilisant un modèle 3D obtenu à partir d’une séquence vidéo et d’une carte acoustique.


  • Résumé

    The objective of this work is to create the 3D reconstruction of the archaeologicalobjects in underwater environment. The fusion technique is present, to obtainedthe 3D maps from the optical and acoustic systems. This work is divided intotwo main parts; First, we created the 3D reconstruction of the underwater scenesfrom the optic system by using the stereo cameras. Second, we created the 3Dinformaton of the underwater environment from the acoustic system by using themultibeam sonar. And we merge the two different types of map, i.e. from the opticand acoustic, which is all the more difficult for different task because of differentresolutions.The first part focus on the optical system used, to carry out the 3D reconstruc-tion by using the stereoscopic device. The underwater video and images sequencefor this work were acquired by divers in different underwater environment such asthe sea, the lake and the pool. First using a stereo camera to take a video of a cali-bration chessboard to calibrate the parameters of the camera, the intrinsic parame-ters are estimated for each camera, and then the external parameters are estimatedto determine the rotation matrix and translation vector of the stereo camera.The aims of this work is to create 3D reconstruction from multiple images.In each images pair,the features of interest are selected and matched across im-age pairs. An additional outlier removal step is performed based on the RANSACmethod. Triangulation of the inlier features from the 2D images space into a sparse3D points cloud is done by using a pinhole camera model and Euclidean distanceestimation. Then, the texture and rendering of the 3D stereo model are processed.The tempolral sequence of images is processed into a set of local 3D reconstructionwith estimate of coordinate transformation between temporally adjacent 3D localreconstruction by using the SFM method.The second part consists of fusing the 3D model obtained previously with theacoustic map. To align the two 3D models (optical model and acoustic model), we use a first approximate registration by selecting manually few points on each cloud.To increase the accuracy of this registration, we use analgorithm ICP (IterativeClosest Point).In this work we created a 3D underwatermultimodal map performedusingglobal 3D reconstruction model and an acousticglobal map.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse ?

  • Bibliothèque : Bibliothèque interuniversitaire. Bibliothèque électronique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.