Exploitation de connaissances partielles sur le mouvement et la géométrie des caméras en vision 3D non calibrée

Exploiting partial camera motion and geometry knowledge in uncalibrated 3D vision

• Auteur / Autrice : Devesh Adlakha
• Direction : Michel de Mathelin
• Type : Thèse de doctorat
• Discipline(s) : Image et vision
• Date : Soutenance le 12/12/2022
• Etablissement(s) : Strasbourg
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Peter Sturm
• Jury : Examinateurs / Examinatrices : Pascal Vasseur, Adlane Habed, Fabio Morbidi, Cédric Demonceaux
• Jury : Rapporteurs / Rapporteuses : Pascal Monasse, Andrea Fusiello

Mots clés

Mots clés contrôlés

Caméras

Vision par ordinateur

Mots clés libres

Vision par ordinateur

Structure-from-Motion

Autocalibrage de la caméra

Computer vision

Structure-from-Motion

Camera autocalibration

Résumé

Reconstruire la structure 3D de la scène à partir de plusieurs images est un problème fondamental de la vision par ordinateur, appelé Structure-from-Motion (SfM). Nous nous intéressons au problème de SfM non calibrée, où seule une structure à une ambiguïté projective peut être obtenue. Le but est de transformer la reconstruction projective en une reconstruction métrique, ce qui consiste à localiser la conique absolue sur le plan à l'infini. Cette thèse présente deux contributions principales. La première exploite une connaissance partielle de la géométrie de la caméra, en particulier que la caméra a des pixels carrés. La plupart des caméras modernes satisfont cette hypothèse. Nous formulons une nouvelle contrainte polynomiale sur le plan à l'infini sous cette hypothèse. La deuxième contribution exploite une vague connaissance du mouvement de la caméra, que le point de vue change légèrement lors de la capture d'images pour établir des correspondances entre les images. Nous prouvons que le plan à l'infini est confiné à un groupe convexe en exploitant les limites de l'angle de rotation relatif entre les paires de caméras. Nous proposons des méthodes dédiées à chaque contribution et présentons les résultats d'expérimentations conduites aussi bien sur des données synthétiques que sur des images réelles.

Reconstructing a scene in 3D from multiple images is a fundamental problem in computer vision known as Structure-from-Motion (SfM). We investigate uncalibrated SfM, where a reconstruction only up to a projective transformation can be obtained. The goal is to recover a metric reconstruction from the projective one that involves locating the so-called Absolute Conic on the plane at infinity. The main contributions of this thesis are twofold. The first contribution exploits partial knowledge of the camera geometry, specifically that the camera has square pixels. This assumption is satisfied by most modern cameras. We formulate a new polynomial constraint on the plane at infinity under this assumption. The second contribution exploits a vague knowledge of the camera motion that the viewpoint is typically changed mildly between images to ensure sufficient overlap to match features. We show that bounds on the relative rotation angle between camera pairs can be used to constrain the plane at infinity to a convex set. We propose dedicated methods for each contribution and report the experimental evaluation conducted using synthetic and real data.