Semantic Description of Humans in Images

• Auteur / Autrice : Gaurav Sharma
• Direction : Frédéric Jurie
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance en 2012
• Etablissement(s) : Caen

Mots clés

Mots clés contrôlés

Perception des visages

Illustrations -- Interprétation

Apprentissage automatique

Vision par ordinateur

Résumé

Dans cette thèse, nous nous intéressons à la description sémantique des personnes dans les images en termes (i) d'attributs sémantiques (sexe, age), (ii) d'actions (court, saute) et d'expressions faciales (sourire). Tout d'abord, nous proposons une nouvelle représentation des images permettant d'exploiter l'information spatiale spécifique à chaque classe. La représentation standard, les pyramides spatiales, suppose que la distribution spatiale de l'information est (i) uniforme et (ii) la même pour toutes les tâches. Au contraire notre représentation se propose d'apprendre l'information spatiale discriminante pour une tâche spécifique. De plus, nous proposons un modèle qui adapte l'information spatiale à chaque image. Enfin, nous proposons un nouveau descripteur pour l'analyse des expressions faciales. Nous apprenons un partitionnement de l'espace des différences locales d'intensité à partir duquel nous calculons des statistiques d'ordre supérieur pour obtenir des descripteurs plus expressifs. Nous proposons également une nouvelle base de données de 9344 images de personnes collectées sur l'Internet avec les annotations sur 27 attributs sémantiques relatifs au sexe, à l'age, à l'apparence et à la tenue vestimentaire des personnes. Nous validons les méthodes proposées sur notre base de données ainsi que sur des bases de données publiques pour la reconnaissance d'actions et la reconnaissance d'expressions. Nous donnons également nos résultats sur des bases de données pour la reconnaissance de scènes, le classement d'images d'objets et la reconnaissance de textures afin de montrer le caractère général de nos contributions.

In the present thesis we are interested in semantic description of humans in images. We propose to describe humans with the help of (i) semantic attributes e. G. Female, elderly, (ii) actions e. G. Running, jumping and (iii) facial expressions e. G. Smiling. First, we propose a new image representation to exploit class specific spatial information. The standard representation i. E. Spatial pyramids, assumes that distribution of spatial information is (i) uniform and (ii) same for all tasks. We propose to learn the discriminative spatial information for a specific task. Further, we propose a model that adapts the spatial information for each image. Finally, we propose a new descriptor for facial expression analysis. We work in the space of intensity differences of local pixel neighborhoods and propose to learn the quantization of the space and use higher order statistics to obtain expressive descriptors. We introduce a challenging dataset of 9344 human images, sourced from the internet, with annotations for 27 semantic attributes based on sex, pose, age and appearance/clothing. We validate the proposed methods on our dataset as well as on publicly available datasets of human actions, fine grained classification involving human and facial expressions. We also report results on related computer vision datasets for scene recognition, object image classification and texture categorization, to highlight the generality of our contributions.