Leveraging weak supervision for video understanding

• Auteur / Autrice : Cristina Garcia Cifuentes
• Direction : Frédéric Jurie, Gabriel Brostow
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance en 2012
• Etablissement(s) : Caen

Mots clés

Mots clés contrôlés

Arbres de décision

Analyse de scènes (informatique)

Classification automatique

Apprentissage automatique

Vision par ordinateur

Résumé

Cette thèse porte sur la classification de vidéos --étape importante de la compréhension des vidéos-- en se focalisant sur la reconnaissance d'actions. Nous nous plaçons dans le cas où des modèles de catégories sémantiques sont à construire automatiquement à partir de données d’entrainement: des extraits vidéo associées à des catégories. Aucune information n'est fournie quant à la localisation spatio-temporelle de l'action dans la vidéo, ni aux éléments indicatifs de la catégorie. Nous explorons trois façons d'exploiter ces annotations faibles dans le cadre des représentations de vidéos dites ��sacs à mots»: (1) une supervision cohérente dès les premières étapes du pipeline, (2) la combinaison d'attributs hétérogènes en nature et en échelle, et (3) des représentations intermédiaires basées sur des régions de sorte à identifier des zones pertinentes dans les vidéos. Pour la quantification de descripteurs locaux, nous proposons une nouvelle fonction objectif d’entrainement de forêts aléatoires, qui vise explicitement à accroitre la capacité discriminatoire des sacs de mots obtenus. Nos forêts sont plus robustes dans l’incorporation d’éléments de contexte pendant la quantification, limitant les risques de la combinaison naïve d’attributs. Nous montrons que les représentations intermédiaires apportent des informations complémentaires améliorant la performance des sacs de mots. De plus, nous proposons une nouvelle application de la classification de vidéos dans le contexte du pistage. Nous montrons que des annotations faibles peuvent être utilisées pour classer des vidéos en types de modèle dynamique. Cette sélection de modèle par classification améliore la qualité du pistage.

This research deals with the task of video classification, with a particular focus on action recognition, which is essential for a comprehensive understanding of videos. In the typical scenario, there is a list of semantic categories to be modeled, and example clips are given together with their associated category label, indicating which action of interests happens in that clip. No information is given about where or when the action happens, or why the annotator considered the clip to belong to a sometimes ambiguous category. Within the framework of the bag-of-words representation of videos, we explore how to leverage such weak labels from three points of view: (1) the use of coherent supervision from the earliest stages of the pipeline; (2) the combination of heterogeneous features in nature and scale; and (3) mid-level representations of videos based on regions, so as to increase the ability to discriminate relevant locations in the video. For the quantization of local features, we propose a novel form of supervision to train random forests which explicitly aims at the discriminative power of the resulting bags of words. We show that our forests are better than traditional ones at incorporating contextual elements during quantization, and draw attention to the risk of naive combination of features. We also show that midlevel representations carry complementary information that can improve classification. Moreover, we propose a novel application of video classification to tracking. We show that weak clip labels can be used to classify videos into categories of dynamic models. In this way, we improve tracking by performing classification-based dynamic model selection.