Méthodes à noyau globales et locales pour le déplacement de données, l'inférence évolutive et l'optimisation

Global and local Kernel methods for dataset shift, scalable inference and optimization

• Auteur / Autrice : Davit Gogolashvili
• Direction : Maurizio Filippone
• Type : Thèse de doctorat
• Discipline(s) : Informatique, télécommunications et électronique
• Date : Soutenance le 16/12/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Maria Alejandra Zuluaga Valencia
• Jury : Examinateurs / Examinatrices : Marco Lorenzi
• Jury : Rapporteurs / Rapporteuses : Evgeny Burnaev, Lorenzo Rosasco

Mots clés

Mots clés contrôlés

Données massives

Noyaux (analyse fonctionnelle)

Processus gaussiens

Analyse de régression

Analyse de covariance

Mots clés libres

Décalage de covariance

Décalage de cible

Kernel ridge regression

Processus gaussiens

Optimisation

Covariate shift

Target shift

Kernel ridge regression

Résumé

Dans de nombreux problèmes du monde réel, les données de formation et les données de test ont des distributions différentes. Cette situation est communément appelée " décalage de l'ensemble de données ". Les paramètres les plus courants pour le décalage des ensembles de données souvent considérés dans la littérature sont le décalage des covariables et le décalage des cibles. Dans cette thèse, nous étudions les modèles nonparamétriques appliqués au scénario de changement d'ensemble de données. Nous développons un nouveau cadre pour accélérer la régression par processus gaussien. En particulier, nous considérons des noyaux de localisation à chaque point de données pour réduire les contributions des autres points de données éloignés, et nous dérivons le modèle GPR découlant de l'application de cette opération de localisation. Grâce à une série d'expériences, nous démontrons la performance compétitive de l'approche proposée par rapport au GPR complet, à d'autres modèles localisés et aux processus gaussiens profonds. De manière cruciale, ces performances sont obtenues avec des accélérations considérables par rapport au GPR global standard en raison de l'effet de sparsification de la matrice de Gram induit par l'opération de localisation. Nous proposons une nouvelle méthode pour estimer le minimiseur et la valeur minimale d'une fonction de régression lisse et fortement convexe à partir d'observations contaminées par du bruit aléatoire.

In many real world problems, the training data and test data have different distributions. The most common settings for dataset shift often considered in the literature are covariate shift and target shift. In this thesis, we investigate nonparametric models applied to the dataset shift scenario. We develop a novel framework to accelerate Gaussian process regression. In particular, we consider localization kernels at each data point to down-weigh the contributions from other data points that are far away, and we derive the GPR model stemming from the application of such localization operation. We propose a new method for estimating the minimizer and the minimum value of a smooth and strongly convex regression function from the observations contaminated by random noise.