Constructions déterministes pour la régression parcimonieuse

par Yohann de Castro

Thèse de doctorat en Mathématiques

Sous la direction de Jean-Marc Azaïs et de Franck Barthe.

Soutenue en 2011

à Toulouse 3 .

mots clés

• Compressed Sensing - Lasso - Sélecteur Dantzig - Inegalités Oracles
• Analyse de régression
• Taux de distorsion, Théorie du
• Polytopes

Résumé

Dans cette thèse nous étudions certains designs déterministes pour la régression par-cimonieuse. Notre problématique est largement inspirée du " Compressed Sensing " où l'on cherche à acquérir et compresser simultanément un signal de grande taille à partir d'un petit nombre de mesures linéaires. Plus précisément, nous faisons le lien entre l'erreur d'estimation et l'erreur de prédiction des estimateurs classiques (lasso, sélecteur Dantzig et basis pursuit) et la distorsion (qui mesure l'" écart " entre la norme 1 et la norme Euclidienne) du noyau du design considéré. Notre étude montre que toute construction de sous-espaces de faibles distorsions (appelés sous-espaces " presque " Euclidiens) conduit à de " bons " designs. Dans un second temps, nous nous intéressons aux designs construits à partir de graphes expanseurs déséquilibrés. Nous en établissons de manière précise les performances en termes d'erreur d'estimation et d'erreur de prédiction. Enfin, nous traitons la reconstruction exacte de mesures signées sur la droite réelle. Nous démontrons que tout système de Vandermonde généralisé permet la reconstruction fidèle de n'importe quel vecteur parcimonieux à partir d'un très faible nombre d'observations. Dans une partie indépendante, nous étudions la stabilité de l'inégalité isopérimétrique sur la droite réelle pour des mesures log-concaves.

Titre traduit

Deterministic constructions for sparse regression

Résumé

In this thesis we investigate some deterministic designs for the sparse regression. Our issue is mainly inspired by Compressed Sensing which is concerned by simultane-ously acquire and compress a signal of large size from a small number of linear measurements. More precisely, we show that there exists a link between variable selection and prediction error with standard estimators (such as the lasso, the Dantzig selector, the basis pursuit) and the distortion, which measures how "far" is the Manhattan norm from the Euclidean norm, of the null-space of the design. Hence, we show that every construction of subspaces with low-distortion (called "almost" Euclidean subspaces) gives "good" designs. In a second part, we are interested by designs constructed from un balanced expander graphs. We accurately established their performances in terms of variable selection and prediction error. Finally, we are interested in the faithful reconstruction of signed measures on the real line. We show that every generalized Vander monde system gives design such one can exactly recover all the sparse vectors from a dramatically small number of observations. In an independent part, we investigate the stability of the isoperimetric inequalities for the log-concave measures on the real line.