Apprentissage actif pour l'approximation de variétés

Active learning for variety approximation

• Auteur / Autrice : Benoît Gandar
• Direction : Guillaume Deffuant
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/11/2012
• Etablissement(s) : Clermont-Ferrand 2
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Partenaire(s) de recherche : Laboratoire : (UR LISC) Laboratoire d'ingénierie pour les systèmes complexes - (LIMOS) Laboratoire d'Informatique- de Modélisation et d'optimisation des Systèmes
• Jury : Président / Présidente : Philippe Mahey
• Jury : Examinateurs / Examinatrices : Stéphane Canu, Antoine Cornuéjols, Gaëlle Loosli, Olivier Teytaud
• Jury : Rapporteurs / Rapporteuses : Stéphane Canu, Antoine Cornuéjols

Mots clés

Mots clés contrôlés

Apprentissage automatique

Mots clés libres

Apprentissage statistique

Apprentissage actif

Échantillonnage aveugle ou échantillonnage adaptatif

Échantillonnage sélectif

Plans d’expériences

Approximation de variétés

Discrépance

Dispersion

Maximin

Minimax

Statistical learning

Active learning

Blind active learning

Selective active learning

Experimental design

Manifolds approximation

Discrepancy

Dispersion

Maximin

Minimax

Résumé

L’apprentissage statistique cherche à modéliser un lien fonctionnel entre deux variables X et Y à partir d’un échantillon aléatoire de réalisations de (X,Y ). Lorsque la variable Y prend un nombre binaire de valeurs, l’apprentissage s’appelle la classification (ou discrimination en français) et apprendre le lien fonctionnel s’apparente à apprendre la frontière d’une variété dans l’espace de la variable X. Dans cette thèse, nous nous plaçons dans le contexte de l’apprentissage actif, i.e. nous supposons que l’échantillon d’apprentissage n’est plus aléatoire et que nous pouvons, par l’intermédiaire d’un oracle, générer les points sur lesquels l’apprentissage de la variété va s’effectuer. Dans le cas où la variable Y est continue (régression), des travaux précédents montrent que le critère de la faible discrépance pour générer les premiers points d’apprentissage est adéquat. Nous montrons, de manière surprenante, que ces résultats ne peuvent pas être transférés à la classification. Dans ce manuscrit, nous proposons alors le critère de la dispersion pour la classification. Ce critère étant difficile à mettre en pratique, nous proposons un nouvel algorithme pour générer un plan d’expérience à faible dispersion dans le carré unité. Après une première approximation de la variété, des approximations successives peuvent être réalisées afin d’affiner la connaissance de celle-ci. Deux méthodes d’échantillonnage sont alors envisageables : le « selective sampling » qui choisit les points à présenter à un oracle parmi un ensemble fini de candidats et l’« adaptative sampling » qui permet de choisir n’importe quels points de l’espace de la variable X. Le deuxième échantillonnage peut être vu comme un passage à la limite du premier. Néanmoins, en pratique, il n’est pas raisonnable d’utiliser cette méthode. Nous proposons alors un nouvel algorithme basé sur le critère de dispersion, menant de front exploitation et exploration, pour approximer une variété.

Statistical learning aims to modelize a functional link between two variables X and Y thanks to a random sample of realizations of the couple (X,Y ). When the variable Y takes a binary number of values, learning is named classification and learn the functional link is equivalent to learn the boundary of a manifold in the feature space of the variable X. In this PhD thesis, we are placed in the context of active learning, i.e. we suppose that learning sample is not random and that we can, thanks to an oracle, generate points for learning the manifold. In the case where the variable Y is continue (regression), previous works show that criterion of low discrepacy to generate learning points is adequat. We show that, surprisingly, this result cannot be transfered to classification talks. In this PhD thesis, we propose the criterion of dispersion for classification problems. This criterion being difficult to realize, we propose a new algorithm to generate low dispersion samples in the unit cube. After a first approximation of the manifold, successive approximations can be realized in order to refine its knowledge. Two methods of sampling are possible : the « selective sampling » which selects points to present to the oracle in a finite set of candidate points, and the « adaptative sampling » which allows to select any point in the feature space of the variable X. The second sampling can be viewed as the infinite limit of the first. Nevertheless, in practice, it is not reasonable to use this method. Then, we propose a new algorithm, based on dispersion criterion, leading both exploration and exploitation to approximate a manifold.