Handling imperfections for multimodal image annotation - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2014

Handling imperfections for multimodal image annotation

Gestion des imperfections pour l’annotation multimodale d’images

Amel Znaidia
  • Fonction : Auteur
  • PersonId : 764864
  • IdRef : 179018310

Résumé

This thesis deals with multimodal image annotation in the context of social media. We seek to take advantage of textual (tags) and visual information in order to enhance the image annotation performances. However, these tags are often noisy, overly personalized and only a few of them are related to the semantic visual content of the image. In addition, when combining prediction scores from different classifiers learned on different modalities, multimodal image annotation faces their imperfections (uncertainty, imprecision and incompleteness). Consequently, we consider that multimodal image annotation is subject to imperfections at two levels: the representation and the decision. Inspired from the information fusion theory, we focus in this thesis on defining, identifying and handling imperfection aspects in order to improve image annotation.
La présente thèse s’intéresse à l’annotation multimodale d’images dans le contexte des médias sociaux. Notre objectif est de combiner les modalités visuelles et textuelles (tags) afin d’améliorer les performances d’annotation d’images. Cependant, ces tags sont généralement issus d’une indexation personnelle, fournissant une information imparfaite et partiellement pertinente pour un objectif de description du contenu sémantique de l’image. En outre, en combinant les scores de prédiction de différents classifieurs appris sur les différentes modalités, l’annotation multimodale d’image fait face à leurs imperfections: l’incertitude, l’imprécision et l’incomplétude. Dans cette thèse, nous considérons que l’annotation multimodale d’image est soumise à ces imperfections à deux niveaux : niveau représentation et niveau décision. Inspiré de la théorie de fusion de l’information, nous concentrons nos efforts dans cette thèse sur la définition, l’identification et la prise en compte de ces aspects d’imperfections afin d’améliorer l’annotation d’images.
Fichier principal
Vignette du fichier
Thesis_ZNAIDIA_AMEL.pdf (7.01 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-01012009 , version 1 (25-06-2014)

Identifiants

  • HAL Id : tel-01012009 , version 1

Citer

Amel Znaidia. Handling imperfections for multimodal image annotation. Other. Ecole Centrale Paris, 2014. English. ⟨NNT : 2014ECAP0017⟩. ⟨tel-01012009⟩
370 Consultations
495 Téléchargements

Partager

Gmail Facebook X LinkedIn More