Analysis and interpretation of visual scenes through collaborative approaches - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2013

Analysis and interpretation of visual scenes through collaborative approaches

Analyse et interprétation de scènes visuelles par approches collaboratives

Analiza si interpretarea scenelor vizuale prin abordari colaborative

Résumé

During the last years, we have witnessed a great increase in the size of digital video collections. Efficient searching and browsing through such collections requires an indexing according to various meaningful terms, bringing us to the focus of this thesis, the automatic semantic indexing of videos. Within this topic, the Bag of Words (BoW) model, often employing SIFT or SURF features, has shown good performance especially on static images. As our first contribution, we propose to improve the results of SIFT/SURF BoW descriptors on videos by pre-processing the videos with a model of the human retina, thereby making these descriptors more robust to video degradations and sensitivite to spatio-temporal information. Our second contribution is a set of BoW descriptors based on trajectories. These give additional motion information, leading to a richer description of the video. Our third contribution, motivated by the availability of complementary descriptors, is a late fusion approach that automatically determines how to combine a large set of descriptors, giving a high increase in the average precision of detected concepts. All the proposed approaches are validated on the TRECVid challenge datasets which focus on visual concept detection in very large and uncontrolled multimedia content.
Les dernières années, la taille des collections vidéo a connu une forte augmentation. La recherche et la navigation efficaces dans des telles collections demande une indexation avec des termes pertinents, ce qui nous amène au sujet de cette thèse, l’indexation sémantique des vidéos. Dans ce contexte, le modèle Sac de Mots (BoW), utilisant souvent des caractéristiques SIFT ou SURF, donne de bons résultats sur les images statiques. Notre première contribution est d’améliorer les résultats des descripteurs SIFT/SURF BoW sur les vidéos en pré-traitant les vidéos avec un modèle de rétine humaine, ce qui rend les descripteurs SIFT/SURF BoW plus robustes aux dégradations vidéo et qui leurs donne une sensitivité à l’information spatio-temporelle. Notre deuxième contribution est un ensemble de descripteurs BoW basés sur les trajectoires. Ceux-ci apportent une information de mouvement et contribuent vers une description plus riche des vidéos. Notre troisième contribution, motivée par la disponibilité de descripteurs complémentaires, est une fusion tardive qui détermine automatiquement comment combiner un grand ensemble de descripteurs et améliore significativement la précision moyenne des concepts détectés. Toutes ces approches sont validées sur les bases vidéo du challenge TRECVid, dont le but est la détection de concepts sémantiques visuels dans un contenu multimédia très riche et non contrôlé.
Fichier principal
Vignette du fichier
37243_STRAT_2013_archivage.pdf (4.56 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-00959081 , version 1 (13-03-2014)
tel-00959081 , version 2 (18-03-2014)
tel-00959081 , version 3 (29-09-2014)

Identifiants

  • HAL Id : tel-00959081 , version 3

Citer

Sabin Tiberius Strat. Analysis and interpretation of visual scenes through collaborative approaches. Other. Université de Grenoble; Universitatea politehnica (Bucarest), 2013. English. ⟨NNT : 2013GRENA026⟩. ⟨tel-00959081v3⟩
447 Consultations
789 Téléchargements

Partager

Gmail Facebook X LinkedIn More