Alignement de vues pour la localisation collaborative dans des applications de sécurité

Registration of egocentric views for collaborative localization in security applications

• Auteur / Autrice : Huiqin Chen
• Direction : Sylvie Le Hégarat, Emanuel Aldea
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et des images
• Date : Soutenance le 16/04/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Systèmes et applications des technologies de l'information et de l'énergie (Gif-sur-Yvette, Essonne ; 2002-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Jury : Président / Présidente : Arnaud Martin
• Jury : Examinateurs / Examinatrices : Sylvie Le Hégarat, Emanuel Aldea, Catherine Achard, Pascal Monasse, Antoine Manzanera, Michèle Gouiffès
• Jury : Rapporteurs / Rapporteuses : Catherine Achard, Pascal Monasse

Mots clés

Mots clés contrôlés

Surveillance électronique

Théorie de Dempster-Shafer

Traitement d'images

Fusion multicapteurs

Vision par ordinateur

Mots clés libres

Système de multi-Camera

Fusion de données

Fonctions de croyance

Association de données

Multi-Camera network

Data fusion

Belief functions

Data association

Résumé

Cette thèse s’intéresse à la localisation collaborative à partir d’une caméra mobile et d’une caméra statique pour des applications de vidéo-surveillance. Pour la surveillance d’évènements sensibles, la sécurité civile recours de plus en plus à des réseaux de caméras collaboratives incluant des caméras dynamiques et des caméras de surveillance traditionnelles, statiques. Il s’agit, dans des scènes de foules, de localiser d’une part le porteur de la caméra (typiquement agent de sécurité) mais également des évènements observés dans les images, afin de guider les secours par exemple. Cependant, les différences de point de vue entre la caméra mobile située au niveau du sol, et la caméra de vidéo-surveillance située en hauteur, couplées à la présence de motifs répétitifs et d’occlusions rendent les tâches de calibration et de localisation ardue. Nous nous sommes d’abord intéressés à la façon dont des informations issues de capteurs de localisation et d’orientation (GPS-IMU) bas-coût, pouvaient contribuer à raffiner l’estimation de la pose relative entre les caméras. Nous avons ensuite proposé de localiser la caméra mobile par la localisation de son épipole dans l’image de la caméra statique. Pour rendre robuste cette estimation vis-à-vis de la présence d’outliers en termes d’appariements de points clés, nous avons développé deux algorithmes. Le premier est basé sur une approche cumulative pour construire la carte d’incertitude de l’épipole. Le second, qui exploite de cadre de la théorie des fonctions de croyance et de son extension aux cadres de discernement 2D, nous a permis de proposer une contribution à la gestion d’un grand nombre de sources élémentaires, dont certaines incompatibles, basée sur un clustering des fonctions de croyances, particulièrement intéressant en vue de la combinaison avec d’autres sources (comme les détecteurs de piétons et/ou données GPS pour notre application). Enfin, la dernière partie concernant la géolocalisation des individus dans la scène, nous a conduit à étudier le problème de l’association de données entre les vues. Nous avons proposé d’utiliser des descripteurs et contraintes géométriques, en plus des descripteurs d’apparence classiques, dans la fonction de coût d’association. Nous avons montré la pertinence de ces informations géométriques qu’elles soient explicites, ou apprises à l’aide un réseau de neurones.

This work focuses on collaborative localization between a mobile camera and a static camera for video surveillance. In crowd scenes and sensitive events, surveillance involves locating the wearer of the camera (typically a security officer) and also the events observed in the images (e.g., to guide emergency services). However, the different points of view between the mobile camera (at ground level), and the video surveillance camera (located high up), along with repetitive patterns and occlusions make difficult the tasks of relative calibration and localization. We first studied how low-cost positioning and orientation sensors (GPS-IMU) could help refining the estimate of relative pose between cameras. We then proposed to locate the mobile camera using its epipole in the image of the static camera. To make this estimate robust with respect to outlier keypoint matches, we developed two algorithms: either based on a cumulative approach to derive an uncertainty map, or exploiting the belief function framework. Facing with the issue of a large number of elementary sources, some of which are incompatible, we provide a solution based on a belief clustering, in the perspective of further combination with other sources (such as pedestrian detectors and/or GPS data for our application). Finally, the individual location in the scene led us to the problem of data association between views. We proposed to use geometric descriptors/constraints, in addition to the usual appearance descriptors. We showed the relevance of this geometric information whether it is explicit, or learned using a neural network.