Indexation de documents vidéos par concepts par fusion de caractéristiques audio, vidéo et texte

par Stéphane Ayache

Thèse de doctorat en Informatique

Sous la direction de Georges Quénot et de Jérôme Gensel.

Soutenue en 2007

à Grenoble, INPG .


  • Résumé

    Cette thèse s'inscrit dans le cadre de la Recherche d'Information et vise à une indexation sémantique des documents multimédias. Les recherches dans ce domaine sont confrontées au « fossé sémantique» qui sépare les descriptions brutes de différentes modalités des descriptions conceptuelles compréhensibles par les utilisateurs. Nous proposons un modèle d'indexation basé sur des réseaux d'opérateurs dans lesquels les flots de données, appelés numcepts, unifient des informations provenant des différentes modalités et extraites à différents niveaux d'abstractions. Nous présentons une instance de ce modèle où nous décrivons une typologie des opérateurs et des numcepts mis en œuvre. Nous avons mené des expérimentations sur les corpus TREC VIDEO afin d'évaluer l'impact de l'agencement et de l' implémentation des opérateurs sur la qualité de l'indexation des documents vidéos. Nous montrons qu'un réseau doit être décliné relativement à un concept afin d'optimiser la qualité de l'indexation.


  • Résumé

    Work deals with information retrieval and aims to reach semantic indexing of multimediaIments. The state of the art approach tackle this problem by bridging of the semantic gap between level features, from each modality, and high-Ievel features (concepts), which are useful for humans. We propose an indexing model based on networks of operators into which data flows, called numcepts, unify informations from the various modalities and extracted at several level of abstraction. We present an instance of this model where we describe a topology of the operators and the numcepts we have deveIoped. We have conducted experiments on TREC VIDEO corpora in order to evaluate various organizations of the networks and the choice of the operators. We have studied those effects on performance of concept detection. We show that a network have to be designed with respect to the concepts in order to optimize the indexing performance.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (174 p.)
  • Notes : Publication autorisée par le jury
  • Annexes : Bibliogr. 206 réf.

Où se trouve cette thèse ?

  • Bibliothèque : Service interétablissements de Documentation (Saint-Martin d'Hères, Isère). Bibliothèque universitaire de Sciences.
  • Disponible pour le PEB
  • Cote : TS07/INPG/0071/D
  • Bibliothèque : Service interétablissements de Documentation (Saint-Martin d'Hères, Isère). Bibliothèque universitaire de Sciences.
  • Disponible sous forme de reproduction pour le PEB
  • Cote : TS07/INPG/0071
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.