Décision par méthodes à noyaux en traitement du signal : techniques de sélection et d'élaboration de noyaux adaptés

Decision and kernel methods in signal processing : kernel selection and kernel design

• Auteur / Autrice : Jean-Baptiste Pothin
• Direction : Cédric Richard
• Type : Thèse de doctorat
• Discipline(s) : Optimisation et sûreté des systèmes
• Date : Soutenance en 2007
• Etablissement(s) : Troyes
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'Ingénieur (Troyes, Aube)

Mots clés

Mots clés contrôlés

Traitement du signal

Résumé

Dans le foisonnant domaine des méthodes à noyaux, force est de constater aujourd’hui que les efforts de recherche ont été essentiellement portés sur les applications, délaissant quelque peu l’étude des noyaux eux-mêmes. Cet état de fait est d’autant plus surprenant que ces derniers conditionnent largement l’efficacité des traitements, par leur aptitude à révéler les similarités existant au sein des données traitées. Le principal objectif de cette thèse est de proposer une méthodologie pour l’élaboration d'un noyau adapté à un problème et à des données. La première partie de ce manuscrit s’intéresse au problème d’apprentissage d’un noyau par ajustement de ses paramètres libres. Nous étudions en particulier les propriétés statistiques des critères d’alignement et de polarité, et proposons un algorithme glouton pour l’optimisation d’une combinaison linéaire de noyaux. Dans la seconde partie, nous étudions le problème d’optimisation de la représentation des données. Un algorithme est proposé pour transformer linéairement les données selon le critère d’alignement. Afin de lutter contre la malédiction de la dimensionnalité, nous étudions une seconde approche basée sur l’optimisation de la métrique et l’appliquons avec succès au problème de classification de textes. La dernière partie concerne la prise en compte d’a priori modélisé sous la forme d’ellipsoïdes, inspiré de l’apprentissage d’un SVM, nous développons un algorithme supervisé capable de classer efficacement des ellipsoïdes

Among the large family of kernel methods, one should admit that, up to now, research was guided by applications, neglecting the study of the kernels themselves. This observations of particularly surprising since these later determine the performance of the machine by their ability to reveal similarities between data samples. The main objective of this thesis is to provide a methodology for the design of data-dependant kernels. The first part of this manuscript is about kernel learning. We study the problem consisting in optimizing the free parameters of several well-known kernel families. We propose a greedy algorithm for learning a linear combination of kernels without training any kernel machine at each step. The improved kernel is then used to train a standard SVM classifier. Applications in regression are also presented. In the second part, we develop methods for data representation learning. We propose an algorithm for maximizing the alignment over linear transform of the input space, which suppose vectorial representation of the data. To deal with the so-called curse of dimensionality, we suggest to learn data representation by distance metric learning. This approach can be used to optimize efficiently any reproducing kernel Hilbert space. We show its application in a text classification context. The last part concerns the use of prior information in the form of ellipsoidal knowledge sets. By considering bounding ellipsoids instead of the usual sample vectors, one can include into SVM invariance properties