Algorithmes de poursuite stochastiques et inégalités de concentration empiriques pour l'apprentissage statistique

Stochastic pursuit algorithms and empirical concentration inequalities for machine learning

• Auteur / Autrice : Thomas Peel
• Direction : Liva Ralaivola, Sandrine Anthoine
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 29/11/2013
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques et Informatique de Marseille (Marseille ; 1994-....)
• Jury : Président / Présidente : François Denis
• Jury : Examinateurs / Examinatrices : Sandrine Anthoine, Matthieu Kowalski, Éric Debreuve
• Jury : Rapporteurs / Rapporteuses : Laurent Daudet, Nicolas Vayatis

Mots clés

Mots clés contrôlés

Traitement du signal

Apprentissage automatique

Analyse stochastique

Mots clés libres

Matching Pursuit

Algorithmes Stochastiques

Sélection de Caractéristiques

Classification Multi-Classes

Inégalités de Bernstein Empiriques

U-Statistiques

Martingales

Ranking

Apprentissage en Ligne

Bornes d'Erreur en Généralisation

Matching Pursuit

Stochastic Algorithms

Feature Selection

Multiclass Classification

Empirical Bernstein Inequalities

U-Statistics

Martingales

Ranking

Online Learning

Generalization Bounds

Résumé

La première partie de cette thèse introduit de nouveaux algorithmes de décomposition parcimonieuse de signaux. Basés sur Matching Pursuit (MP) ils répondent au problème suivant : comment réduire le temps de calcul de l'étape de sélection de MP, souvent très coûteuse. En réponse, nous sous-échantillonnons le dictionnaire à chaque itération, en lignes et en colonnes. Nous montrons que cette approche fondée théoriquement affiche de bons résultats en pratique. Nous proposons ensuite un algorithme itératif de descente de gradient par blocs de coordonnées pour sélectionner des caractéristiques en classification multi-classes. Celui-ci s'appuie sur l'utilisation de codes correcteurs d'erreurs transformant le problème en un problème de représentation parcimonieuse simultanée de signaux. La deuxième partie expose de nouvelles inégalités de concentration empiriques de type Bernstein. En premier, elles concernent la théorie des U-statistiques et sont utilisées pour élaborer des bornes en généralisation dans le cadre d'algorithmes de ranking. Ces bornes tirent parti d'un estimateur de variance pour lequel nous proposons un algorithme de calcul efficace. Ensuite, nous présentons une version empirique de l'inégalité de type Bernstein proposée par Freedman [1975] pour les martingales. Ici encore, la force de notre borne réside dans l'introduction d'un estimateur de variance calculable à partir des données. Cela nous permet de proposer des bornes en généralisation pour l'ensemble des algorithmes d'apprentissage en ligne améliorant l'état de l'art et ouvrant la porte à une nouvelle famille d'algorithmes d'apprentissage tirant parti de cette information empirique.

The first part of this thesis introduces new algorithms for the sparse encoding of signals. Based on Matching Pursuit (MP) they focus on the following problem : how to reduce the computation time of the selection step of MP. As an answer, we sub-sample the dictionary in line and column at each iteration. We show that this theoretically grounded approach has good empirical performances. We then propose a bloc coordinate gradient descent algorithm for feature selection problems in the multiclass classification setting. Thanks to the use of error-correcting output codes, this task can be seen as a simultaneous sparse encoding of signals problem. The second part exposes new empirical Bernstein inequalities. Firstly, they concern the theory of the U-Statistics and are applied in order to design generalization bounds for ranking algorithms. These bounds take advantage of a variance estimator and we propose an efficient algorithm to compute it. Then, we present an empirical version of the Bernstein type inequality for martingales by Freedman [1975]. Again, the strength of our result lies in the variance estimator computable from the data. This allows us to propose generalization bounds for online learning algorithms which improve the state of the art and pave the way to a new family of learning algorithms taking advantage of this empirical information.