Repenser les méthodes statistiques avec des drapeaux

Rethinking statistical methods with flags

• Auteur / Autrice : Tom Szwagier
• Direction : Xavier Pennec
• Type : Thèse de doctorat
• Discipline(s) : Automatique, traitement du signal et des images
• Date : Soutenance le 28/11/2025
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Florence Forbes
• Jury : Examinateurs / Examinatrices : Xavier Pennec, Florence Forbes, Pierre-Antoine Absil, Ian L. Dryden, Frédéric Pascal, Armin Schwartzman
• Jury : Rapporteurs / Rapporteuses : Pierre-Antoine Absil, Ian L. Dryden

Mots clés

Mots clés contrôlés

Variétés de drapeaux (géométrie)

Statistique

Analyse de covariance

Géométrie de Riemann

Analyse en composantes principales

Mots clés libres

Analyse en composantes principales

Géometrie riemannienne

Matrices de covariance

Parcimonie

Statistiques

Variétés de drapeaux

Covariance matrices

Flag manifolds

Parsimony

Principal component analysis

Riemannian geometry

Statistics

Résumé

Un drapeau est une suite strictement croissante de sous-espaces linéaires. On peut également le définir comme une suite de sous-espaces linéaires mutuellement orthogonaux, dont les dimensions forment le type. L'ensemble des drapeaux d'un même type a une structure de variété riemannienne, lisse, compacte et connexe. Aussi abstraites que ces variétés de drapeaux puissent sembler, cette thèse s'attache à démontrer qu'elles ont une véritable importance en statistiques. Les sous-espaces propres d'une matrice symétrique réelle forment un drapeau, dont le type correspond aux multiplicités des valeurs propres. Par conséquent, les variétés de drapeaux devraient naturellement intervenir dans certaines méthodes statistiques incontournables telles que l'analyse en composantes principales, qui repose justement sur la décomposition spectrale de la matrice de covariance empirique. Cependant, leur utilisation en statistiques reste aujourd'hui très limitée, au profit de variétés plus simples telles que celles de Stiefel et de Grassmann, auxquelles appartiennent respectivement les composantes principales et les sous-espaces utilisés en réduction de dimension. Une première contribution fondamentale de cette thèse est la découverte d'un nouveau type de parcimonie dans les matrices de covariance. L'étude des variétés de drapeaux nous permet de démontrer que le nombre de paramètres des matrices de covariance décroît quadratiquement avec les multiplicités des valeurs propres. En vertu du principe de parcimonie, nous montrons qu'il faudrait égaliser les valeurs propres empiriques dont la distance relative est inférieure à un certain seuil. Ce résultat a un impact important en statistiques : il implique de passer d'une analyse en composantes principales à une analyse en sous-espaces principaux, avec de nets gains en interprétabilité. Plusieurs approfondissements de notre analyse en sous-espaces principaux sont proposés. Nous reformulons notamment le choix du type du drapeau comme un problème d'optimisation sur l'espace des matrices de covariance, stratifié par les multiplicités des valeurs propres. Une relaxation semblable à un lasso sur les valeurs propres améliore nettement la rapidité de la sélection de modèle. D'autres méthodologies — telles qu'un partitionnement hiérarchique des valeurs propres et une approximation bayésienne de la vraisemblance marginale — sont également explorées. Afin d'en améliorer l'expressivité, nous étendons notre analyse en sous-espaces principaux aux modèles de mélange. L'apprentissage des paramètres par un algorithme espérance-maximisation classique rendant le problème de sélection de modèle difficile, nous en proposons une variante qui estime et regroupe automatiquement les valeurs propres. Nous obtenons des garanties théoriques sur la monotonie de la fonction objectif au cours des itérations, ce qui rend notre approche prometteuse pour l'apprentissage de modèles de mélange parcimonieux. Enfin, nous montrons que certaines méthodes de réduction de dimension souffrent d'un fléau : les représentations qu'elles produisent à différentes dimensions ne sont pas imbriquées. L'extension de notre méthodologie via un principe simple et générique — faisant intervenir de l'optimisation sur des variétés de drapeaux — permet alors d'obtenir naturellement des représentations cohérentes.

A flag is a sequence of nested linear subspaces of increasing dimension. It can also be defined as a sequence of mutually-orthogonal subspaces, whose dimensions form the type. The set of flags of the same type forms a smooth, compact and connected Riemannian manifold. As abstract as these flag manifolds may seem, this thesis aims to demonstrate that they are truly important in statistics.The eigenspaces of a real symmetric matrix form a flag, whose type corresponds to the multiplicities of the eigenvalues. Consequently, flag manifolds should naturally be involved in certain essential statistical methods such as principal component analysis, which is based precisely on the spectral decomposition of the empirical covariance matrix. However, their use in statistics remains very limited, in favor of simpler spaces such as Stiefel and Grassmann manifolds, to which the principal components and subspaces used in dimension reduction belong, respectively. A first fundamental contribution of this thesis is the discovery of a new type of parsimony in covariance matrices. Our study of flag manifolds reveals that the number of covariance parameters decreases quadratically with the multiplicities of the eigenvalues. By virtue of the principle of parsimony, we show that empirical eigenvalues whose relative distance is below a certain threshold should be equalized. This result has an important impact in statistics: it implies a transition from principal component analysis to principal subspace analysis, with clear gains in interpretability.Several extensions of our principal subspace analysis are proposed. In particular, we reformulate the choice of flag type as an optimization problem on the space of covariance matrices, stratified by the multiplicities of the eigenvalues. A lasso-like relaxation on the eigenvalues drastically improves the speed of model selection. Other methodologies—such as hierarchical clustering of eigenvalues and Bayesian approximation of marginal likelihood—are also explored.In order to improve expressiveness, we extend our principal subspace analysis to mixture models. Since learning parameters via a classic expectation-maximization algorithm makes model selection difficult, we propose a variant that automatically estimates and groups eigenvalues. We obtain theoretical guarantees on the monotonicity of the objective function during iterations, which makes our approach promising for learning parsimonious mixture models.Finally, we show that certain dimensionality reduction methods suffer from a problem: the representations they produce at different dimensions are not nested. Extending our methodology via a simple and generic principle—involving optimization on flag manifolds—allows us to naturally obtain consistent representations.