Transfert d’apprentissage et méthodes à noyau

Transfer Learning with Kernel Methods

• Auteur / Autrice : Xiaoyi Chen
• Direction : Régis Lengellé
• Type : Thèse de doctorat
• Discipline(s) : Optimisation et Sûreté des Systèmes
• Date : Soutenance le 16/03/2018
• Etablissement(s) : Troyes
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'Ingénieur (Troyes, Aube)
• Partenaire(s) de recherche : Organisme gouvernemental étranger : CSC (China Scholarship Council)
• Partenaire(s) de recherche : Laboratoire : Institut Charles Delaunay / ICD
• Jury : Président / Présidente : Pascal Larzabal
• Jury : Examinateurs / Examinatrices : Pascal Larzabal, Stéphane Canu, Latifa Oukhellou, Fahed Abdallah, Paul Honeine
• Jury : Rapporteurs / Rapporteuses : Stéphane Canu, Latifa Oukhellou
• DOI : 10.70675/d52de67ezb791z412bza917z20511aa63c32

Mots clés

Mots clés contrôlés

Apprentissage automatique

Machines à vecteurs de support

Noyaux (analyse fonctionnelle)

Analyse multivariée

Mots clés libres

Apprentissage automatique

Machines à vecteurs de support

Noyaux (analyse fonctionnelle)

Analyse multivariée

Machine learning

Support vector machines

Kernel functions

Multivariate analysis

Résumé

Le transfert d‘apprentissage regroupe les méthodes permettant de transférer l’apprentissage réalisé sur des données (appelées Source) à des données nouvelles, différentes, mais liées aux données Source. Ces travaux sont une contribution au transfert d’apprentissage homogène (les domaines de représentation des Source et Cible sont identiques) et transductif (la tâche à effectuer sur les données Cible est identique à celle sur les données Source), lorsque nous ne disposons pas d’étiquettes des données Cible. Dans ces travaux, nous relâchons la contrainte d’égalité des lois des étiquettes conditionnellement aux observations, souvent considérée dans la littérature. Notre approche permet de traiter des cas de plus en plus généraux. Elle repose sur la recherche de transformations permettant de rendre similaires les données Source et Cible. Dans un premier temps, nous recherchons cette transformation par Maximum de Vraisemblance. Ensuite, nous adaptons les Machines à Vecteur de Support en intégrant une contrainte additionnelle sur la similitude des données Source et Cible. Cette similitude est mesurée par la Maximum Mean Discrepancy. Enfin, nous proposons l’utilisation de l’Analyse en Composantes Principales à noyau pour rechercher un sous espace, obtenu à partir d’une transformation non linéaire des données Source et Cible, dans lequel les lois des observations sont les plus semblables possibles. Les résultats expérimentaux montrent l’efficacité de nos approches

Transfer Learning aims to take advantage of source data to help the learning task of related but different target data. This thesis contributes to homogeneous transductive transfer learning where no labeled target data is available. In this thesis, we relax the constraint on conditional probability of labels required by covariate shift to be more and more general, based on which the alignment of marginal probabilities of source and target observations renders source and target similar. Thus, firstly, a maximum likelihood based approach is proposed. Secondly, SVM is adapted to transfer learning with an extra MMD-like constraint where Maximum Mean Discrepancy (MMD) measures this similarity. Thirdly, KPCA is used to align data in a RKHS on minimizing MMD. We further develop the KPCA based approach so that a linear transformation in the input space is enough for a good and robust alignment in the RKHS. Experimentally, our proposed approaches are very promising