Apprentissage d'opérateurs pour les systèmes de recommandation et la quantification d'incertitude

Operator Learning for Recommender Systems and Uncertainty Quantification

• Auteur / Autrice : Grégoire Pacreau
• Direction : Karim Lounici
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 02/04/2025
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées de l'Ecole polytechnique (Palaiseau ; 1974-....) - Centre de Mathématiques Appliquées de l'Ecole polytechnique / CMAP
• Jury : Président / Présidente : Rémi Flamary
• Jury : Examinateurs / Examinatrices : Karim Lounici, Pierre Alquier, Joseph Salmon, Madalina Olteanu, Mohamed Hebiri, Katia Meziani
• Jury : Rapporteurs / Rapporteuses : Pierre Alquier, Joseph Salmon
• DOI : 10.70675/215a570ez359ez45bezb62czcc07a52b44ac

Mots clés

Mots clés contrôlés

Apprentissage profond

Analyse de covariance

Quantificateurs (logique mathématique)

Mots clés libres

Covariance

Apprentissage profond

Valeurs manquantes

Bandits

Quantification d'incertitude

Statistiques

Covariance

Deep learning

Missing values

Bandits

Uncertainty quantification

Statistics

Résumé

Cette thèse a pour sujet l'estimation d'opérateurs et l'établissement de bornes non-asymptotique sur leur précision. En première partie, nous traiterons de l'estimation de la covariance en présence de valeurs manquantes ou contaminées. Nous montrons qu'un simple débiaisage est minimax optimal et bat en pratique les procédures plus complexes de l'état de l'art.Dans une deuxième partie, nous étudierons un bandit linéaire multi-tâche, dont la matrice des coefficients de la régression peut se décomposer en le produit de matrices plus petites: la première est une matrice de représentation commune qui contient une information partagée par toutes les tâches et une matrice contenant l'information spécifique à chaque tâche. L'avantage de cette décomposition est de pouvoir grandement accélérer l'apprentissage de nouvelles tâches, à condition que ces tâches partagent la même représentation. Ayant déjà acquis une précision satisfaisante avec les tâches observées en amont, nous pouvons réduire le problème au seul apprentissage du vecteur spécifique, de moindre dimension.Nous développons dans la troisième partie l'étude de modèles non linéaires. Nous fournissons une méthode pour apprendre l'opérateur de transfert en utilisant de l'apprentissage profond qui permet à des architectures simples (des MLPs) d'égaler les performances d'architectures complexes spécifiquement pensées pour l'apprentissage de probabilité conditionelles. Surtout, notre méthode permet d'obtenir des intervalles de confiances sans demander d'entrainement supplémentaire. De plus, nous fournissons des garanties théoriques pour l'efficacité de notre estimateur.Enfin, nous étudions dans une quatrième partie les opérateurs obtenus dans le chapitre précédent pour en tirer des relations causales. En particulier, nous supposons l'existence d'une structure de parcimonie par bloc de cette matrice, que nous récupérons via la pénalisation Lasso par groupe. Cette méthode est très largement utilisée pour les systèmes linéaires, pour lesquels nous développons la théorie en fournissant des bornes non asymptotiques. Nous montrons qu'elle peut aussi servir dans le cas non linéaire.

In this thesis we study estimators for operators and derive non-asymptotic bounds on their precision. We first look at covariance estimation in the presence of outliers and prove that a simple estimator is minimax optimal and outperforms complex state of the art procedures.We then look at multi-task linear bandits, where we assume that the transfer matrix can be decomposed into two factors: a representation matrix shared by all task and a idiosyncratic matrix specific to each task. This decomposition allows for efficient meta-learning, where any new task sharing the same decomposition will only require the learning of the idiosyncractic factor.In a third part we look at non-linear transfer operators. We introduce a novel procedure for learning such operators using deep-learning. This procedure allows for simple MLP architectures to equal or out perform more complex architectures such as normalising flows. Furthermore, our estimator has theoretical garanties on its precision. It also provides confidence intervals without requiring additional training.Finally, we study the learned operators and find ways to infer Granger causality between variables. We extend the study of group-Lasso to linear time series and show that it can be used on non-linear dynamics.