suivi 3d d'objets inconnus par une caméra omnidirectionnelle pour des applications de robotique humanoïde.

par Marouane Boui

Thèse de doctorat en Robotique

Sous la direction de Fakhr-Eddine Ababsa et de El houssine Bouyakhf.

Thèses en préparation à Paris Saclay en cotutelle avec l'Université Mohammed V Rabat Agdal Faculté des sciences , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec IBISC - Informatique, BioInformatique, Systèmes Complexes (laboratoire) et de Université d'Évry-Val-d'Essonne (établissement opérateur d'inscription) .


  • Résumé

    Dans cette thèse nous traiterons du problème de la détection et du suivi 3D de personnes dans des séquences d'images omnidirectionnelles, dans le but de réaliser des applications permettant l'estimation de pose 3D. Ceci nécessite la mise en place d'un suivi stable et précis de la personne dans un environnement réel. Dans le cadre de cette étude, on utilisera une caméra catadioptrique composée d'un miroir sphérique et d'une caméra perspective, ce type de capteur est couramment utilisé dans la vision par ordinateur et la robotique. Son principal avantage est son large champ de vision qui lui permet d'acquérir une vue à 360 degrés de la scène avec un seul capteur et en une seul image. Cependant, ce capteur vont engendre géneralement des distorsions importantes dans les images, ne permettant pas une application directe des méthodes classiquement utilisées en vision perspective. Ce mémoire contient la description de deux approches de suivi développées durant cette thèse, qui permettent de tenir compte de ces distorsions. Elles illustrent le cheminement suivi par nos travaux durant ces trois années, nous permettant de passer de la détection de personne à l'estimation 3D de sa pose. La première étape de nos travaux a consisté à mettre en place un algorithme de détection de personne dans les images omnidirectionnelles. Nous avons proposé d'étendre l'approche conventionnelle pour la détection humaine en image perspective, basées sur l'Histogramme Orientés du Gradient (HOG) mise en place par dallal ~cite{dalal2006finding}, pour l'adapter à des images sphériques. Notre approche utilise les variétés riemanniens afin d'adapter le calcul du gradient dans le cas des images omnidirectionnelles et l'utilisation du gradient sphérique pour les images sphériques pour générer notre descripteur d'image omnidirectionnelle. Le descripteur sera utilisé avec un classifieur SVM pour la prise de décision. Plusieurs expériences ont été faites en utilisant la base de données d'images INRIA ~cite{inriadatabase}, ainsi que notre propre base de données que nous avons mise en place. Nous présenterons aussi les différents résultats obtenus avec notre algorithme pour une détection robuste de personnes dans les images omnidirectionnelles. Par la suite, nous nous sommes concentrés sur la mise en place d'un système de suivi 3D de personnes avec des caméras omnidirectionnelles. Nous avons fait le choix de faire du suivi 3D basé sur un modèle de la personne avec 32 degré de liberté car nous nous sommes imposer comme contrainte l'utilisation d'une seul camera catadioptrique. Notre travail a porté sur la mise en place de plusieurs fonctions de vraisemblance, basées sur les distances géodésiques dans l'espace spherique $SO_{3}$, ainsi que sur la mise en correspondance de la silhouette dans l'image avec le modèle 3D projeté. Nos fonctions de vraisemblance combinées à un filtre particulaire dont le modèle de propagation des particules est adapté à l'espace sphérique permet de faire un suivi 3D précis de la personne dans des images omnidirectionnelles. L'approche a été validée dans des conditions réel et avec différents mouvements de la personne. Dans ce manuscrit nous avons tenté de montrer que l'utilisation des caméras omnidirectionnelles dans le domaines de la détection et le suivi d'objets peut être précise si on tiens bien compte des distorsions de ce type de capteur.

  • Titre traduit

    3d tracking of unknown objects by an omnidirectional camera forhumanoid robotic applications.


  • Résumé

    In this thesis we will handle the problem of 3D people detection and tracking in omnidirectional images sequences, in order to realize applications allowing 3D pose estimation. This requires a stable and accurate monitoring of the person in a real environment. In order to achieve this, we will use a catadioptric camera composed of a spherical mirror and a perspective camera, this type of sensor is commonly used in computer vision and robotics. Its main advantage is its wide field of vision which allows it to acquire a 360-degree view of the scene with a single sensor and in a single image. However, this kind of sensor generally generates significant distortions in the images, not allowing a direct application of the methods conventionally used in perspective vision. This thesis contains a description of two monitoring approaches that take into account these distortions. These methods show the progress of our work during these three years, allowing us to move from person detection to the 3D estimation of its pose. The first step of this work consisted in setting up a person detection algorithm in the omnidirectional images. We proposed to extend the conventional approach for human detection in perspective image, based on the Gradient-Oriented Histogram (HOG) implemented by dallal , in order to adjust it to spherical images. Our approach uses the Riemannian varieties to adapt the gradient calculation for omnidirectional images as well as (en français change le "et" par "ainsi que l'utilisation de ") the spherical gradient for spherical images to generate our omnidirectional image descriptor. The descriptor will be used along with an SVM classifier for decision making. Several experiments have been done using the INRIA image database as well as our own database. We will then introduce the different results obtained with our algorithm for a robust detection of people in omnidirectional images. Subsequently, we set up a 3D tracking system for people with omnidirectional cameras. We have chosen to do a 3D tracking based on a model of the person with 32 degrees of freedom because we have imposed as a constraint the use of a single catadioptric camera. Our work focused on the implementation of several likelihood functions, based on geodesic distances in the spherical space $ SO_ {3} $, as well as on the mapping of the silhouette in the image with the 3D model projected. Our likelihood functions combined with a particle filter whose particle propagation model is adapted to spherical space allows accurate 3D tracking of the person in omnidirectional images. The approach has been validated in real conditions and with different movements of the person. In this manuscript we have shown that the use of omnidirectional cameras in the field of object detection and tracking can be accurate if we take into account the distortions of this type of sensor.