Finding people in images and videos

• Auteur / Autrice : Navneet Dalal
• Direction : Cordelia Schmid, Bill Triggs
• Type : Thèse de doctorat
• Discipline(s) : Imagerie, vision, robotique
• Date : Soutenance en 2006
• Etablissement(s) : Grenoble INPG

Mots clés

Mots clés contrôlés

Apprentissage automatique

Reconnaissance des formes (informatique)

Mots clés libres

Détection de personnes

Détection d'objets

Résumé

La thèse présente méthodes pour description robuste du ccntenu image et "apprentissage machine ala détection de personnes dans les images et les vidéos. Le problème se rèvèle assez difficile en raison de la grande variété de scènes, d'illuminations, de poses et de vêtements des sujets. La résolution demande à la fois une analyse d'image robuste et discriminante et la mise en Jeu des méthodes poussées de la reconnaissance de formes. La contribution principale de la thèse est d'avoir introduit et mis au point un jeu d'indices d'image qui code le contenu local de l'image de façon très résistante aux changements d'illumination et aux petites déformations spatiales, et qui est donc idéal pour les applications de la reconnaissance de formes, L'approche est basée sur les grilles astucieusement normalisées d'histogrammes pondérées des orientations des gradients d'intensité image. En plus, elle mit au point une architecture de détection d'objets avancée et une approche soignée pour apprendre le détecteur en deux phases à partir d'un ensemble d'images types de la classe d'objets. Finalement, sur les mêmes bases on a introduit un deuxième jeu d'indices image qui exploitent les différences locaux du flot optique afin de caractériser le mouvement du sujet a partir de deux clichés d'une séquence vidéo. L'intégration de ces descripteurs dans le détecteur précédant porte un ordre de grandeur de plus de réduction dans le taux de détections erronées, Les résultats ne se bornent pas à la seule détection de personnes, Ils s'étendent directement à la détection d'autres classes comme voitures, vélos, chevaux

This thesis targets the detection of humans and other object classes in images and videos. Our focus is on developing robust feature extraction algorithms that encode image regions as high-dimensional feature vectors that support high accuracy object/non-object decisions. It makes four main contributions. Firstly, we introduce locally normalised Histograms of Oriented Gradients (HOG) as descriptors for object detection in images. The HOG descriptors are computed over dense and overlapping grids of spatial biocks, with image gradient orientation features extracted at fixed resolution and gathered into a high-dimensional feature vector. They are designed to be robust to smail changes in image contour locations and directions, and significant changes in image illumination and colout. Secondly, to detect moving humans in videos, we propose descriptors based on onented histograms of differen!ial opticai lIow. These are similar ta static HOG descriptors, but they are based on local differentials of dense optical flow and encode the noisy optical fJow estimates into robust feature vectors in a manner that is robust to the overall camera motion. Several variants are proposed, some capturing motion boundaries while others encode the relative motions of adjacent image regions. Thirdly, we propose a genaral method based on kernel density estimation for fusing multiple overlapping detections, that takes into acccunt the number of detections, their ccnfidence scores and the scales of the detections, Lastly, we present parts based approach to person detection that first detects local body parts like heads, torso, and legs and then fuses them to create an overall person detector.