Factorisation matricielle et tensorielle par une approche issue de la physique statistique

par Thibault Lesieur

Thèse de doctorat en Physique

Sous la direction de Lenka Zdeborová.

Soutenue le 09-10-2017

à l'Université Paris-Saclay (ComUE) , dans le cadre de École doctorale Physique en Île-de-France (Paris ; 2014-....) , en partenariat avec Institut de Physique Théorique (Saclay, Essonne) (laboratoire) et de Université Paris-Sud (1970-2019) (établissement opérateur d'inscription) .

Le président du jury était Silvio Franz.

Le jury était composé de Lenka Zdeborová, Silvio Franz, Manfred Opper, Amin Coja-Oghlan, Florent Krzakala, Marc Lelarge.

Les rapporteurs étaient Manfred Opper, Amin Coja-Oghlan.


  • Résumé

    Dans cette thèse, je présente des résultats sur la factorisation de matrice et de tenseur. Les matrices étant un objet omniprésent en mathématique, un grand nombre de problèmes d'apprentissage machine peuvent être transcrits en un problème de factorisation de matrice de petit rang. C'est une des méthodes les plus basiques utilisée dans les méthodes d'apprentissage non supervisé et les problèmes de réduction dimensionnelle. Les résultats présentés dans cette thèse ont pour la plupart déjà été inclus dans des publications antérieures [LKZ 2015]. Le problème de la factorisation de matrice de petit rang devient de plus en plus difficile quand on rajoute des contraintes additionnelles, comme par exemple la positivité d'un des facteurs. Nous présentons ici un cadre dans lequel analyser ce problème sous un angle Bayésien où les priors sur les facteurs peuvent être génériques et où l'output channel à travers duquel la matrice est observée peut être générique aussi. Nous tracerons un parallèle entre le problème de factorisation matricielle et les problèmes de verre de spin vectoriel. Ce cadre permet d'aborder d'une façon unifiée des problèmes qui étaient abordés de façon séparée dans des publications précédentes. Nous dérivons en détail la forme générale des équations de Low-rank Approximate Message Passing (Low-RAMP) ce qui donnera un algorithme de factorisation. Ces équations sont connues en physique statistique sous le nom des équations TAP. Nous dérivons ces équations dans différents cas, pour le modèle de Sherrington-Kirkpatrick, les restricted Boltzmann machine, le modèle de Hopfield ou encore le modèle xy. La dynamique des équations Low-RAMP peut être analysée en utilisant les équations de State Evolution; ces équations sont équivalentes à un calcul des répliques symétriques. Dans la section dévolue aux résultats nous étudierons de nombreux diagrammes de phase et transition de phase dans le cas Bayes-optimale. Nous présenterons différentes typologies de diagrammes de phase et leurs interprétations en terme de performances algorithmiques.

  • Titre traduit

    Matricial and tensorial factorisation using tools coming from statistical physics


  • Résumé

    In this thesis we present the result on low rank matrix and tensor factorization. Matrices being such an ubiquitous mathematical object a lot of machine learning can be mapped to a low-rank matrix factorization problem. It is for example one of the basic methods used in data analysis for unsupervised learning of relevant features and other types of dimensionality reduction. The result presented in this thesis have been included in previous work [LKZ 201].The problem of low rank matrix becomes harder once one adds constraint to the problem like for instance the positivity of one of the factor of the factorization. We present a framework to study the constrained low-rank matrix estimation for a general prior on the factors, and a general output channel through which the matrix is observed. We draw a paralel with the study of vector-spin glass models -- presenting a unifying way to study a number of problems considered previously in separate statistical physics works. We present a number of applications for the problem in data analysis. We derive in detail ageneral form of the low-rank approximate message passing (Low-RAMP) algorithm that is known in statistical physics as the TAP equations. We thus unify the derivation of the TAP equations for models as different as the Sherrington-Kirkpatrick model, the restricted Boltzmann machine, the Hopfield model or vector (xy, Heisenberg and other) spin glasses. The state evolution of the Low-RAMP algorithm is also derived, and is equivalent to the replica symmetric solution for the large class of vector-spin glass models. In the section devoted to result we study in detail phase diagrams and phase transitions for the Bayes-optimal inference in low-rank matrix estimation. We present a typology of phase transitions and their relation to performance of algorithms such as the Low-RAMP or commonly used spectral methods.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université Paris-Sud. Service commun de la documentation. Bibliothèque électronique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.