Adaptation et apprentissage sur des réseaux et des graphiques multitâches

Adaptation and learning over multitask networks and graphs

• Auteur / Autrice : Fei Hua
• Direction : Cédric Richard, Haiyan Wang
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'Ingénieur
• Date : Soutenance le 15/07/2020
• Etablissement(s) : Université Côte d'Azur en cotutelle avec Northwestern Polytechnical University (Chine)
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées (Nice ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Joseph-Louis Lagrange (Nice, Alpes-Maritimes ; 2012-....)
• Jury : Président / Présidente : André Ferrari
• Jury : Examinateurs / Examinatrices : Cédric Richard, Haiyan Wang, André Ferrari, Paul Honeine, David Brie, Jie Chen, Jingdong Chen, Yuantao Gu
• Jury : Rapporteurs / Rapporteuses : Paul Honeine, David Brie

Mots clés

Mots clés contrôlés

Traitement du signal

Plateformes d'apprentissage en ligne

Calcul adaptatif

Fonctionnement multitâche

Mots clés libres

Réseaux multitâches

Estimation distribuée

Algorithmes adaptatifs

LMS de diffusion

Analyse des performances

Traitement du signal graphique

Multitask networks

Distributed estimation

Adaptive algorithms

Diffusion LMS

Performance analysis

Graph signal processing

Résumé

L'apprentissage multitâche a reçu une attention considérable dans les communautés de traitement du signal et d'apprentissage automatique. Au contraire du traitement traditionnel des problèmes à tâche unique, il vise à apprendre d’une façon simultanée plusieurs tâches connexes. Il y a également eu un large éventail de problèmes de traitement de données qui sont structurés en réseau ou en graphiques et qui nécessitent une capacité d'adaptation à la transmission de données en continu et à des dynamiques variant dans le temps. Les stratégies d'apprentissage adaptatif réparties sur les réseaux permettent à une collection d'agents interconnectés d'accomplir une certaine tâche, telle que l'estimation des paramètres, en collaboration grâce au calcul local et à la coopération entre les agents voisins. De plus, ils confèrent aux agents une capacité d'adaptation et d'apprentissage continue pour suivre les dérives possibles dans le modèle sous-jacent. Malgré la nature hétérogène et le fait que chaque agent peut résoudre une tâche différente dans un réseau multitâche, il pourrait encore bénéficier d'une collaboration entre les agents pour améliorer la précision de l'estimation en tirant parti des relations et en capitalisant sur le transfert inductif entre eux. L'objectif de cette thèse est de concevoir et d'analyser des stratégies d'apprentissage adaptatif multitâche sur des réseaux et des graphiques. Premièrement, nous abordons les problèmes d'estimation multitâche où chaque agent est intéressé à estimer son propre vecteur de paramètres et où les vecteurs de paramètres aux agents voisins sont liés linéairement selon un ensemble de contraintes. Sur la base de la méthode des pénalités, un problème d'optimisation non contraint est reformulé et un algorithme distribué est dérivé. Le comportement de l'algorithme dans la moyenne et dans le sens de l'erreur quadratique moyenne est analysé. Ensuite, nous assouplissons l'hypothèse des contraintes locales et travaillons sur le problème multitâche avec des contraintes non locales. Nous concevons l'algorithme distribué en utilisant un protocole de relais à sauts multiples entre les agents. Nous prouvons que l'algorithme continuera de converger et fournira une analyse théorique des performances. Dans la troisième partie, nous étendons les stratégies d'apprentissage distribué aux applications émergentes de traitement du signal graphique où le signal lui-même est structuré en réseau. Plusieurs stratégies LMS de diffusion de graphe sont proposées pour faire face aux signaux de graphe en streaming. Nous étendons également le modèle multitâche aux filtres graphiques et proposons un mécanisme de clustering en ligne. Enfin, nous nous penchons sur le problème de la modélisation des signaux graphiques en utilisant une combinaison de plusieurs filtres graphiques. Un algorithme efficace est proposé pour apprendre simultanément les coefficients de plusieurs filtres graphiques et effectuer la sélection du modèle. Des résultats de simulation et numériques sont fournis pour illustrer l'efficacité de tous les algorithmes proposés et valider les analyses théoriques.

Multitask learning has received considerable attention in signal processing and machine learning communities. It aims at simultaneously learning several related tasks other than the traditional single-task problems. There also have witnessed a wide spectrum of data processing problems that are network- or graph-structured and require adaptation ability to streaming data and time-varying dynamics. Distributed adaptive learning strategies over networks enable a collection of interconnected agents to accomplish a certain task, such as parameter estimation, collaboratively through local computation and cooperation among neighboring agents. Further, they endow the agents with continuous adaptation and learning ability to track possible drifts in the underlying model. Despite the heterogeneous nature and the fact that each agent may solve a different task in multitask network, it could still benefit from a collaboration between agents to improve the estimation accuracy by leveraging the relations and capitalizing on inductive transfer between them. The objective of this thesis is to devise and analyze multitask adaptive learning strategies over networks and graphs. First, we consider multitask estimation problems where each agent is interested in estimating its own parameter vector and where the parameter vectors at neighboring agents are related linearly according to a set of constraints. Based on the penalty method, an unconstrained optimization problem is reformulated and a distributed algorithm is derived. The behavior of the algorithm in the mean and in the mean-square-error sense is analyzed. Next, we relax the local constraints assumption and consider the multitask problem with non-local constraints. We devise the distributed algorithm by employing a multi-hop relay protocol across the agents. We prove that the algorithm will continue to converge and provide theoretical performance analysis. In the third part, we extend the distributed learning strategies to the emerging graph signal processing applications where the signal itself is network-structured. Several graph diffusion LMS strategies are proposed to cope with streaming graph signals. We also extend the multitask model to graph filters and propose an on-line clustering mechanism. Last, we consider the problem of modeling graph signals by using a combination of multiple graph filters. An efficient algorithm is proposed to simultaneously learn coefficients of multiple graph filters and perform model selection. Simulation and numerical results are provided to illustrate the effectiveness of all proposed algorithms and validate the theoretical analyses.