Calibrage en ligne des caméras stéréo sur les systèmes embarqués

Online stereo camera calibration on embedded systems

• Auteur / Autrice : Michał Szczepanski
• Direction : Frédéric Chausse
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/11/2019
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Président / Présidente : François Berry
• Jury : Examinateurs / Examinatrices : Erwan Piriou, Mehdi Darouich, Dominique Ginhac, Valérie Gouet-Brunet, Samia Bouchafa

Mots clés

Mots clés contrôlés

Systèmes embarqués (informatique)

Mots clés libres

Calibration de caméra stéréo en ligne

Lunettes intelligentes

Modèle de caméra

Matrice essentielle

Paramètres extrinsèques

Systèmes embarqués

Traitement sur systèmes embarqués

Calibration

Calibrage

Auto-adaptation

Self-healing

Auto-calibration

Surveillance de caméra en ligne

Qualité des services

Temps réel

Online stereo camera calibration

Smart glasses

Camera model

Essential matrix

Extrinsic parameters

Embedded systems

Processing on embedded systems

Calibration

Auto- adaptation

Self-healing

Self-calibration

Online camera monitoring

Quality of services

Real time

Résumé

Cette thèse décrit une approche de calibration en ligne des caméras stéréo pour des systèmes embarqués. Le manuscrit introduit une nouvelle mesure de la qualité du service de cette fonctionnalité dans les systèmes cyber physiques. Ainsi, le suivi et le calcul des paramètres internes du capteur (requis pour de nombreuses tâches de vision par ordinateur) est réalisé dynamiquement. La méthode permet à la fois d'augmenter la sécurité et d'améliorer les performances des systèmes utilisant des caméras stéréo. Elle prolonge la durée de vie des appareils grâce à cette procédure d'auto-réparation, et peut accroître l'autonomie. Des systèmes tels que les robots mobiles ou les lunettes intelligentes en particulier peuvent directement bénéficier de cette technique.La caméra stéréo est un capteur capable de fournir un large spectre de données. Au préalable, le capteur doit être calibré extrinsèquement, c'est à dire que les positions relatives des deux caméras doivent être déterminées. Cependant, cette calibration extrinsèque peut varier au cours du temps à cause d'interactions avec l'environnement extérieur par exemple (chocs, vibrations...). Ainsi, une opération de recalibration permet de corriger ces effets. En effet, des données mal comprises peuvent entraîner des erreurs et le mauvais fonctionnement des applications. Afin de contrer un tel scénario, le système doit disposer d'un mécanisme interne, la qualité des services, pour décider si les paramètres actuels sont corrects et/ou en calculer des nouveaux, si nécessaire. L'approche proposée dans cette thèse est une méthode d'auto-calibration basée sur l'utilisation de données issues uniquement de la scène observée (sans modèles contrôlés). Tout d'abord, nous considérons la calibration comme un processus système s'exécutant en arrière-plan devant fonctionner en continu et en temps réel. Cette calibration interne n'est pas la tâche principale du système, mais la procédure sur laquelle s'appuient les applications de haut niveau. Pour cette raison, les contraintes systèmes limitent considérablement l'algorithme en termes de complexité, de mémoire et de temps. La méthode de calibration proposée nécessite peu de ressources et utilise des données standards provenant d'applications de vision par ordinateur, de sorte qu'elle est masquée à l'intérieur du pipeline applicatif. Dans ce manuscrit, de nombreuses discussions sont consacrées aux sujets liés à la calibration de caméras en ligne pour des systèmes embarqués, tels que des problématiques sur l'extraction de points d'intérêts robustes et au calcul du facteur d'échelle, les aspects d’implémentation matérielle, les applications de haut niveau nécessitant cette approche, etc.Enfin, cette thèse décrit et explique une méthodologie pour la constitution d'un nouveau type d'ensemble de données, permettant de représenter un changement de position d'une caméra,pour valider l’approche. Le manuscrit explique également les différents environnements de travail utilisés dans la réalisation des jeux de données et la procédure de calibration de la caméra. De plus, il présente un premier prototype de casque intelligent, sur lequel s’exécute dynamiquement le service d’auto-calibration proposé. Enfin, une caractérisation en temps réel sur un processeur embarqué ARM Cortex A7 est réalisée.

This thesis describes an approach for online calibration of stereo cameras on embeddedsystems. It introduces a new functionality for cyber physical systems by measuring the qualityof service of the calibration. Thus, the manuscript proposes a dynamic monitoring andcalculation of the internal sensor parameters required for many computer vision tasks. Themethod improves both security and system efficiency using stereo cameras. It prolongs the lifeof the devices thanks to this self-repair capability, which increases autonomy. Systems such asmobile robots or smart glasses in particular can directly benefit from this technique.The stereo camera is a sensor capable of providing a wide spectrum of data. Beforehand, thissensor must be extrinsically calibrated, i.e. the relative positions of the two cameras must bedetermined.. However, camera extrinsic calibration can change over time due to interactionswith the external environment for example (shocks, vibrations...). Thus, a recalibrationoperation allow correcting these effects. Indeed, misunderstood data can lead to errors andmalfunction of applications. In order to counter such a scenario, the system must have aninternal mechanism, a quality of service, to decide whether the current parameters are correctand/or calculate new ones, if necessary.The approach proposed in this thesis is a self-calibration method based on the use of data coming only from the observed scene, without controlled models. First of all, we consider calibration as a system process running in the background and having to run continuously in real time. This internal calibration is not the main task of the system, but the procedure on which high-level applications rely. For this reason, system constraints severely limit the algorithm in terms of complexity, memory and time. The proposed calibration method requires few resources and uses standard data from computer vision applications, so it is hidden within the application pipeline. In this manuscript, we present many discussions to topics related to the online stereocalibration on embedded systems, such as problems on the extraction of robust points ofinterest, the calculation of the scale factor, hardware implementation aspects, high-levelapplications requiring this approach, etc. Finally, this thesis describes and explains amethodology for the building of a new type of dataset to represent the change of the cameraposition to validate the approach. The manuscript also explains the different workenvironments used in the realization of the datasets and the camera calibration procedure. Inaddition, it presents the first prototype of a smart helmet, on which the proposed self-calibration service is dynamically executed. Finally, this thesis characterizes the real-timecalibration on an embedded ARM Cortex A7 processor.