Kernel LMS à noyau gaussien : conception, analyse et applications à divers contextes

Gaussian kernel least-mean-square : design, analysis and applications

• Auteur / Autrice : Wei Gao
• Direction : Cédric Richard, Jianguo Huang
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'ingénieur
• Date : Soutenance le 09/12/2015
• Etablissement(s) : Nice
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées (Nice ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Joseph-Louis Lagrange (Nice, Alpes-Maritimes ; 2012-....) - Joseph Louis LAGRANGE
• Jury : Examinateurs / Examinatrices : Cédric Richard, Jianguo Huang, Paul Honeine, Jingdong Chen, André Ferrari, Pierre-Olivier Amblard, Badong Chen, Jie Chen
• Jury : Rapporteurs / Rapporteuses : Paul Honeine, Jingdong Chen

Mots clés

Mots clés contrôlés

Espaces de Hilbert

Noyaux (analyse fonctionnelle)

Convergence (mathématiques)

Mots clés libres

Analyse de convergence

Kernel least-mean-square

Noyau gaussien

Noyaux multiples

Noyaux complexes

Algorithmes de diffusion distribués

Espaces de Hilbert à noyau reproduisant

Convergence analysis

Kernel least-mean-square

Gaussian kernel

Multikernel

Complex kernel

Diffusion adaptation in RKHS

Résumé

L’objectif principal de cette thèse est de décliner et d’analyser l’algorithme kernel-LMS à noyau Gaussien dans trois cadres différents: celui des noyaux uniques et multiples, à valeurs réelles et à valeurs complexes, dans un contexte d’apprentissage distributé et coopératif dans les réseaux de capteurs. Plus précisement, ce travail s’intéresse à l’analyse du comportement en moyenne et en erreur quadratique de cas différents types d’algorithmes LMS à noyau. Les modèles analytiques de convergence obtenus sont validés par des simulations numérique. Tout d’abord, nous introduisons l’algorithme LMS, les espaces de Hilbert à noyau reproduisants, ainsi que les algorithmes de filtrage adaptatif à noyau existants. Puis, nous étudions analytiquement le comportement de l’algorithme LMS à noyau Gaussien dans le cas où les statistiques des éléments du dictionnaire ne répondent que partiellement aux statistiques des données d’entrée. Nous introduisons ensuite un algorithme LMS modifié à noyau basé sur une approche proximale. La stabilité de l’algorithme est également discutée. Ensuite, nous introduisons deux types d’algorithmes LMS à noyaux multiples. Nous nous concentrons en particulier sur l’analyse de convergence de l’un d’eux. Plus généralement, les caractéristiques des deux algorithmes LMS à noyaux multiples sont analysées théoriquement et confirmées par les simulations. L’algorithme LMS à noyau complexe augmenté est présenté et ses performances analysées. Enfin, nous proposons des stratégies de diffusion fonctionnelles dans les espaces de Hilbert à noyau reproduisant. La stabilité́ de cas de l’algorithme est étudiée.

The main objective of this thesis is to derive and analyze the Gaussian kernel least-mean-square (LMS) algorithm within three frameworks involving single and multiple kernels, real-valued and complex-valued, non-cooperative and cooperative distributed learning over networks. This work focuses on the stochastic behavior analysis of these kernel LMS algorithms in the mean and mean-square error sense. All the analyses are validated by numerical simulations. First, we review the basic LMS algorithm, reproducing kernel Hilbert space (RKHS), framework and state-of-the-art kernel adaptive filtering algorithms. Then, we study the convergence behavior of the Gaussian kernel LMS in the case where the statistics of the elements of the so-called dictionary only partially match the statistics of the input data. We introduced a modified kernel LMS algorithm based on forward-backward splitting to deal with ℓ₁-norm regularization. The stability of the proposed algorithm is then discussed. After a review of two families of multikernel LMS algorithms, we focus on the convergence behavior of the multiple-input multikernel LMS algorithm. More generally, the characteristics of multikernel LMS algorithms are analyzed theoretically and confirmed by simulation results. Next, the augmented complex kernel LMS algorithm is introduced based on the framework of complex multikernel adaptive filtering. Then, we analyze the convergence behavior of algorithm in the mean-square error sense. Finally, in order to cope with the distributed estimation problems over networks, we derive functional diffusion strategies in RKHS. The stability of the algorithm in the mean sense is analyzed.