Quelques contributions à l'estimation de grandes matrices de précision

Some contributions to large precision matrix estimation

• Auteur / Autrice : Samuel Balmand
• Direction : Marc Pierrot-Deseilligny, Arnak S. Dalalyan
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 27/06/2016
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Méthodes d'Analyses pour le Traitement d'Images et la Stéréorestitution (Saint-Mandé, Val de Marne) - MATIS
• Jury : Président / Présidente : Cristina Butucea
• Jury : Examinateurs / Examinatrices : Marc Pierrot-Deseilligny, Arnak S. Dalalyan, Pierre Alquier
• Jury : Rapporteurs / Rapporteuses : Julien Chiquet, Erwan Le Pennec

Mots clés

Mots clés contrôlés

Analyse de régression

Matrices

Processus gaussiens

Mots clés libres

Estimation de la matrice de précision

Régression parcimonieuse

Modèles graphiques gaussiens

Estimation robuste

Analyse non-Asymptotique

Minimisation convexe

Precision matrix estimation

Sparse regression

Gaussian graphical models

Robust estimation

Nonasymptotic analysis

Convex minimization

Résumé

Sous l'hypothèse gaussienne, la relation entre indépendance conditionnelle et parcimonie permet de justifier la construction d'estimateurs de l'inverse de la matrice de covariance -- également appelée matrice de précision -- à partir d'approches régularisées. Cette thèse, motivée à l'origine par la problématique de classification d'images, vise à développer une méthode d'estimation de la matrice de précision en grande dimension, lorsque le nombre n d'observations est petit devant la dimension p du modèle. Notre approche repose essentiellement sur les liens qu'entretiennent la matrice de précision et le modèle de régression linéaire. Elle consiste à estimer la matrice de précision en deux temps. Les éléments non diagonaux sont tout d'abord estimés en considérant p problèmes de minimisation du type racine carrée des moindres carrés pénalisés par la norme ℓ₁. Les éléments diagonaux sont ensuite obtenus à partir du résultat de l'étape précédente, par analyse résiduelle ou maximum de vraisemblance. Nous comparons ces différents estimateurs des termes diagonaux en fonction de leur risque d'estimation. De plus, nous proposons un nouvel estimateur, conçu de sorte à tenir compte de la possible contamination des données par des outliers, grâce à l'ajout d'un terme de régularisation en norme mixte ℓ₂/ℓ₁. L'analyse non-asymptotique de la convergence de notre estimateur souligne la pertinence de notre méthode

Under the Gaussian assumption, the relationship between conditional independence and sparsity allows to justify the construction of estimators of the inverse of the covariance matrix -- also called precision matrix -- from regularized approaches. This thesis, originally motivated by the problem of image classification, aims at developing a method to estimate the precision matrix in high dimension, that is when the sample size n is small compared to the dimension p of the model. Our approach relies basically on the connection of the precision matrix to the linear regression model. It consists of estimating the precision matrix in two steps. The off-diagonal elements are first estimated by solving p minimization problems of the type ℓ₁-penalized square-root of least-squares. The diagonal entries are then obtained from the result of the previous step, by residual analysis of likelihood maximization. This various estimators of the diagonal entries are compared in terms of estimation risk. Moreover, we propose a new estimator, designed to consider the possible contamination of data by outliers, thanks to the addition of a ℓ₂/ℓ₁ mixed norm regularization term. The nonasymptotic analysis of the consistency of our estimator points out the relevance of our method