PAC-Bayesian estimation of low-rank matrices

by The Tien Mai

Doctoral thesis in Mathématiques appliquées

Under the supervision of Pierre Alquier.

defended on 23-06-2017

in Paris Saclay , under the authority of Mathématiques Hadamard , in a partnership with Centre de recherche en économie et statistique (France) (laboratoire) , Ecole nationale de la statistique et de l'administration économique (Palaiseau, Essonne) (établissement opérateur d'inscription) and Centre de Recherche en Économie et Statistique / CREST (laboratoire) .

Thesis committee President: Gérard Biau.

Thesis committee members: Pierre Alquier, Gérard Biau, Judith Rousseau, Alexandre B. Tsybakov, Nial Friel, Christophe Giraud.

Examiners: Judith Rousseau.


  • Abstract

    The first two parts of the thesis study pseudo-Bayesian estimation for the problem of matrix completion and quantum tomography. A novel low-rank inducing prior distribution is proposed for each problem. The statistical performance is examined: in each case we provide the rate of convergence of the pseudo-Bayesian estimator. Our analysis relies on PAC-Bayesian oracle inequalities. We also propose an MCMC algorithm to compute our estimator. The numerical behavior is tested on simulated and real data sets. The last part of the thesis studies the lifelong learning problem, a scenario of transfer learning, where information is transferred from one learning task to another. We propose an online formalization of the lifelong learning problem. Then, a meta-algorithm is proposed for lifelong learning. It relies on the idea of exponentially weighted aggregation. We provide a regret bound on this strategy. One of the nice points of our analysis is that it makes no assumption on the learning algorithm used within each task. Some applications are studied in details: finite subset of relevant predictors, single index model, dictionary learning.

  • Alternative Title

    Estimation PAC-bayésienne de matrices de faible rang


  • Abstract

    Les deux premi`eres parties de cette th`ese 'etudient respectivement des estimateurs pseudo-bay'esiens dans les probl`emes de compl'etion de matrices, et de tomographie quantique. Dans chaque probl`eme, on propose une loi a priori qui induit des matrices de faible rang. On 'etudie les performances statistiques: dans chacun des deux cas, on prouve des vitesses de convergence pour nos estimateurs. Notre analyse repose essentiellement sur des in'egalit'es PAC-Bay'esiennes. On propose aussi un algorithme MCMC pour impl'ementer notre estimateur. On teste ensuite ses performances sur des donn'ees simul'ees, et r'eelles. La derni`ere partie de la th`ese 'etudie le probl`eme de lifelong learning (que l'on peut traduire par apprentissage au long cours), o`u de l'information est conserv'ee et transf'er'ee d'un probl`eme d'apprentissage `a un autre. Nous proposons une formalisation de ce probl`eme dans un contexte de pr'ediction s'equentielle. Nous proposons un m'eta-algorithme pour le transfert d'information, qui repose sur l'agr'egation `a poids exponentiels. On prouve une borne sur le regret de cette m'ethode. Un avantage important de notre analyse est qu'elle ne requiert aucune hypoth`ese sur la forme des algorithmes d'apprentissages utilis'es `a l'int'erieur de chaque probl`eme. On termine cette partie par l''etude de quelques exemples: cas d'un nombre fini de pr'edicteurs, apprentissage d'une direction r'ev'elatrice, et apprentissage d'un dictionnaire.


It's available in the institution of thesis defence.

Consult library

Version is available

Where is this thesis?

  • Library : Ecole Nationale de la Statistique et de l'Administration Economique.
See the Sudoc catalog libraries of higher education and research.