New perspectives and tools for Tensor Principal Component Analysis and beyond - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

New perspectives and tools for Tensor Principal Component Analysis and beyond

Nouveaux outils et perspectives pour l'Analyse en Composantes Principales tensorielle et au-delà

Résumé

This thesis deals with tensorial principal component analysis (PCA). The introduction notes the growing interest in tensorial tools in the field of Artificial Intelligence (AI). Finding new AI methods and algorithms that are less opaque and that require less data than deep learning is crucial to facilitate the adoption of AI in new application domains. The second chapter emphasizes the more general importance of the study of tensorial PCA by highlighting its key position at the intersection of very active research subjects from three different disciplines, applied mathematics, the physics of disordered systems, and theoretical computer science. The contribution of this thesis is divided into two parts. The first consists of a new theoretical framework adapted to tensors, inspired by recent research work in high energy physics. This framework makes it possible to improve the results on synthetic data as well as in certain concrete applications. It also makes it possible to give new theoretical guarantees for more general situations, such as a tensor with unequal dimensions. The second contribution introduces a new method based on a more empirical approach. It provides new insights that lead us to question certain conjectures such as those related to the behavior and performance of the tensor power iteration method. These results could bring new essential elements to the study of the statistical-computational gap and the behavior of gradient descent in deep learning.
Cette thèse a pour objet l'analyse en composantes principales (APC) tensorielle. L'introduction constate l'intérêt grandissant pour les outils tensoriels dans le domaine de l'Intelligence Artificielle (IA). Trouver de nouvelles méthodes et algorithmes en IA qui soient moins opaques et qui nécessitent moins de données que l'apprentissage profond est crucial pour faciliter l'adoption de l'IA dans de nouveaux domaines d'application. Le deuxième chapitre souligne l'importance plus générale de l'étude de l'APC tensorielle en mettant en lumière sa position clé à l'intersection de sujets de recherche très actifs de trois disciplines différentes, les mathématique appliquées, la physique des systèmes désordonnés, et l'informatique théorique. La contribution de cette thèse se divise en deux parties. La première consiste en un nouveau cadre théorique adapté aux tenseurs, inspiré par des travaux de recherche récents en physique des hautes énergies. Ce cadre permet d'améliorer les résultats sur des données synthétiques ainsi que dans certaines applications concrètes. Il permet aussi de donner des nouvelles garanties théoriques pour des situations plus générales, comme un tenseur aux dimensions non égales. La deuxième contribution introduit une nouvelle méthode basée sur une approche plus empirique. Elle fournit de nouvelles intuitions qui nous poussent à questionner certaines conjectures telles que celles qui portent sur le comportement et la performance de la méthode de la puissance itérée tensorielle. Ces résultats pourraient apporter de nouveaux éléments essentiels à l'étude de l'écart théorique-algorithmique et le comportement de la descente de gradient dans l'apprentissage profond.
Fichier principal
Vignette du fichier
121594_OUERFELLI_2022_archivage.pdf (3.96 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03989238 , version 1 (14-02-2023)

Identifiants

  • HAL Id : tel-03989238 , version 1

Citer

Mohamed Ouerfelli. New perspectives and tools for Tensor Principal Component Analysis and beyond. Other Statistics [stat.ML]. Université Paris-Saclay, 2022. English. ⟨NNT : 2022UPASP138⟩. ⟨tel-03989238⟩
101 Consultations
58 Téléchargements

Partager

Gmail Facebook X LinkedIn More