Structured data learning for image interpretationg

• Auteur / Autrice : Emanuel Aldea
• Direction : Isabelle Bloch
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance en 2009
• Etablissement(s) : Paris, Télécom ParisTech

Mots clés

Mots clés contrôlés

Classification automatique

Traitement d'images

Logique floue

Représentation des connaissances

Résumé

La plupart des méthodes de classification d’images s'appuient en premier lieu sur les attributs des objets d'intérêt. Cependant, les informations spatiales liées aux relations entre ces objets sont également utiles, comme cela a été montré en segmentation et reconnaissance de structures dans les images, et leur intégration dans des méthodes d'apprentissage et de classification commence à apparaître et évoluer. Les modélisations floues permettent de représenter à la fois l'imprécision de la relation et le passage graduel de la satisfaction à la non satisfaction de cette relation. L'objectif de ce travail est d'explorer les techniques de représentation de l’information spatiale et leur intégration dans les classifieurs d'images qui utilisent les noyaux de graphes. Nous justifions le choix de graphes étiquetés pour représenter les images dans le contexte de l'apprentissage SVM, ainsi que les adaptations nécessaires par rapport aux domaines connexes. A partir des mesures d’adjacence floues entre les objets d'intérêt, nous définissons une famille de représentations de graphes déterminés par des seuils différents appliqués à ces mesures spatiales. Enfin, nous employons plusieurs noyaux dans un apprentissage multiple afin de mettre en place des classifieurs qui peuvent tenir compte des différentes représentations graphiques de la même image à la fois. Les résultats montrent que l'information spatiale complète les caractéristiques visuelles des éléments distinctifs dans les images et que l'adaptation des fonctions noyau pour les représentations spatiales floues est bénéfique en termes de performances.

Image interpretation methods use primarily the visual features of low-level or high-level interest elements. However, spatial information concerning the relative positioning of these elements is equally beneficial, as it has been shown previously in segmentation and structure recognition. Fuzzy representations permit to assess at the same time the imprecision degree of a relation and the gradual transition between the satisfiability and the non-satisfiability of a relation. The objective of this work is to explore techniques of spatial information representation and their integration in the learning process, within the context of image classifiers that make use of graph kernels. We motivate our choice of labeled graphs for representing images, in the context of learning with SVM classifiers. Graph kernels have been studied intensively in computational chemistry and biology, but an adaptation for image related graphs is necessary, since image structures and properties of the information encoded in the labeling are fundamentally different. We illustrate the integration of spatial information within the graphical model by considering fuzzy adjacency measures between interest elements, and we define a family of graph representations determined by different thresholds applied to these spatial measures. Finally, we employ multiple kernel learning in order to build up classifiers that can take into account different graphical representations of the same image at once. Results show that spatial information complements the visual features of distinctive elements in images and that adapting the discriminative kernel functions for the fuzzy spatial representations is beneficial in terms of performance.