In-Network Learning : formation distribuée et inférence dans les réseaux de communication

In-Network Learning : Distributed Training and Inference in Communication Networks

• Auteur / Autrice : Matei Moldoveanu
• Direction : Abderrezak Rachedi, Abdellatif Zaidi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 26/01/2023
• Etablissement(s) : Université Gustave Eiffel
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009) - Laboratoire d'informatique de l'Institut Gaspard Monge
• Jury : Examinateurs / Examinatrices : Michel Kieffer, Medina Perlaza Samir, Mari Kobayashi, Mireille Sarkiss, Sheng Yang
• Jury : Rapporteurs / Rapporteuses : Michel Kieffer, Medina Perlaza Samir

Mots clés

Mots clés contrôlés

Algorithmes

Ordonnancement (informatique)

Réseaux neuronaux (informatique)

Apprentissage automatique

Information, Théorie de l'

Mots clés libres

Apprentissage distribué

Théorie de l'information

Classification

Information Bottleneck

Perte logarithmique

Affectation des ressources

Distributed learning

Information theory

Classification

Information Bottleneck

Logarithmic loss

Resource allocation

Résumé

Nous étudions le problème de l'apprentissage statistique distribué. Plus précisément, nous considérons le cadre d'apprentissage distribué et d'inférence. Dans le scénario considéré, plusieurs nœuds doivent travailler ensemble pour prédire une certaine quantité d'intérêt/d'événement au niveau d'un nœud central. Certains nœuds observent les données liées à la quantité cible, tandis que d'autres ne le font pas ; cependant, les nœuds qui n'ont pas accès aux données forment un lien entre le nœud central et les nœuds qui observent les données. Nous considérons le cas où un graphe orienté acyclique peut modéliser un tel réseau. Nous étudions comment on peut entraîner un réseau aussi complexe de manière distribuée, c'est-à-dire sans échange de données brutes, pour le cas où chaque nœud est équipé d'un réseau de neurones pour traiter les données. Inspirés par le fameux problème de goulot d'étranglement de l'information, nous utilisons d'abord la théorie de la distorsion du débit pour dériver un compromis réalisable entre les performances du réseau sous perte logarithmique et le débit des messages transmis entre les nœuds. Ensuite, en utilisant le compromis obtenu, nous montrons comment on peut dériver une fonction de perte qui peut entraîner conjointement les réseaux de neurones aux nœuds de manière distribuée. Nous étudions également le problème d'ordonnancement et d'allocation de puissance pour le modèle proposé pour les topologies de réseau en étoile, c'est-à-dire dans lequel les nœuds d'observation des données sont connectés directement au nœud central faisant la prédiction. En raison de la nature distribuée des données et de l'absence d'a priori connu, aucun nœud ne peut fournir une image définitive du système et décider correctement de l'allocation des ressources. Pour surmonter ce problème, le professeur Abdellatif Zaidi a breveté une solution dans laquelle 1. Chaque appareil mesure sa propre évaluation locale de la pertinence des données qu'il détient pour la tâche d'inférence en cours et la transmet au nœud de décision. 2. Cet appareil envoie également simultanément les valeurs d'activation de sortie au nœud de décision. 3. Le nœud de décision combine toutes les informations reçues (valeurs d'activation des différents appareils ainsi que leurs évaluations locales individuelles) et forme ensuite sa propre évaluation (globale) de la pertinence de l'observation de chaque appareil. 4. Les nœuds centraux ont utilisé les évaluations obtenues pour planifier l'allocation de puissance. Dans cette thèse, nous nous appuyons sur le brevet en présentant une méthode de calcul des évaluations locales et globales et en proposant de nouveaux algorithmes d'ordonnancement et d'allocation de puissance

We study the problem of distributed statistical learning. More specifically, we consider the distributed training and inference setting. In the considered scenario, multiple nodes need to work together to predict some quantity of interest/event at a central node. Some nodes observe data related to the target quantity, while others do not; however, the nodes that do not have access to data form a link between the central node and the nodes that observe data. We consider the case in which a directed acyclic graph can model such a network. We study how one can train such a complex network in a distributed manner, i.e., without the exchange of raw data, for the case in which each node is equipped with a neural network to process the data. Inspired by the famous information bottleneck problem, we first use rate-distortion theory to derive an achievable trade-off between the network's performance under logarithmic loss and the rate of the messages passed between the nodes. Then, using the obtained trade-off, we showcase how one can derive a loss function that can jointly train the neural networks at the nodes in a distributed manner. We also study the problem of scheduling and power allocation for the proposed model for the star network topologies, i.e., in which the data observing nodes are connected directly to the central node making the prediction. Due to the distributed nature of the data and the lack of a known prior, no node can provide a definitive picture of the system and correctly decide the allocation of the resources. To overcome this issue, Prof. Abdellatif Zaidi patented a solution in which 1. Each device measures its own local assessment of how relevant is the data it holds for the inference task at hand and transmits it to the decision node. 2. That device also simultaneously sends the output activation values to the decision node. 3. The decision node combines all received information (activation values from the various devices as well as their individual local assessments) and then forms its own (global) assessment of how relevant each device's observation is. 4. The central nodes used the obtained assessments for scheduling for power allocation. In this thesis, we build upon the patent by presenting a method for computing the local and global assessments and proposing new scheduling and power allocation algorithms