Kernels for image classification with support vector machines

• Auteur / Autrice : Sabri Boughorbel
• Direction : Nozha Ben Hajel-Boujemaa
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2005
• Etablissement(s) : Paris 11
• Partenaire(s) de recherche : Autre partenaire : Université de Paris-Sud. Faculté des sciences d'Orsay (Essonne)

Mots clés

Mots clés libres

Noyaux définis positifs

Erreur de généralisation

Réglage des paramètres

Résumé

Les méthodes d'apprentissage statistique sont de plus en plus utiles pour la conception de la nouvelle génération de systèmes de vision par ordinateur. En l'occurrence, les Machines à Supports de Vecteur (SVMs) ont eu a un grand essor ces dernières années. Nous nous sommes intéressés d'abord par la conception de noyaux pour la SVM pour différentes représentations d'images. Pour les représentations globales d'images nous proposons une extension du noyau d'intersection d'histogrammes en simplifiant ses conditions de défini positivité. Nous proposons aussi un noyau à support compact (noyau GCS) basé sur une construction géométrique permettant de réduire la mémoire de stockage ainsi que le temps de calcul de l'apprentissage de la SVM. Pour les représentations locales d'images nous proposons un noyau basé sur une nouvelle approche d'appariement intermédiaire qui met en jeux un ensemble d'appariement défini a priori permettant de trouver les bonnes correspondances entre les deux ensembles de descripteurs locaux à comparer. Nous nous sommes ensuite intéressés à l'estimation de l'erreur de généralisation. Nous proposons une approximation analytique du leave-two-out basé sur l'approche de champ moyen. L'approximation proposée peut être calculée de façon efficace ne nécessitant qu'une seule inversion de matrice. Nous nous sommes penchés ensuite sur le problème d'optimisation des paramètres des noyaux. Nous proposons une nouvelle approche (LCCP) basée sur la méthode CCCP. L'approche proposée permet de minimiser la borne rayon-marge avec une descente monotone sans recherche de pas du gradient pour chaque itération.

Kernel methods are providing a ``plug and play'' approach to algorithm design. For instance, Support Vector Machines (SVMs) has been successfully applied to many tasks through simply substituting appropriate kernels. We design several kernels for different kinds of image representations. For global image representations, we propose a general form of the Histogram Intersection kernel by relaxing conditions of its positive definiteness. We propose also a compactly supported kernel (GCS kernel) based on a geometric approach. The compactness property enhances the computation of the SVM training using sparse linear algebra algorithms. For local representations, images are described by local image features such as local jets computed on interest points. We propose is the intermediate matching kernel which defines an alignement between the two sets of local features using a matching set. The latter is learned using local features from all training images. A crucial step after designing kernels is to carefully choose hyperparameters. In this research, we addressed also tuning kernel parameters. First we have been interested by generalization error estimation. We introduce a new estimator for the leave-two-out using the mean-field approach. We prove that the proposed estimator is statistically more robust than the leave-one-out ones. We propose also an optimization scheme (LCCP), based on the concave convex procedure, for tuning kernel parameters. The LCCP is more efficient than gradient descent technique since it insures that the optimization criterion decreases monotonically and converges to a local minimum without searching the size step.