Inference statistique sémantique distribuée : limites fondamentales et algorithmes

Distributed semantic statistical inference: fundamental limits and algorithms

• Auteur / Autrice : Romain Chor
• Direction : Abdellatif Zaidi, Abderrezak Rachedi
• Type : Projet de thèse
• Discipline(s) : Signal, Image, Automatique
• Date : Inscription en doctorat le 03/01/2022
• Etablissement(s) : Université Gustave Eiffel
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Partenaire(s) de recherche : Equipe de recherche : LRT - Logiciels, Réseaux, Temps Réels

Mots clés

Mots clés libres

Apprentissage distribué

Apprentissage fédéré

Inférence sémantique

Compression sémantique

Distributed learning

Federated learning

Semantic inference

Semantic compression

Résumé

Les méthodes d'apprentissage statistique basées sur la théorie de l'information se sont beaucoup développées au cours de la dernière décennie grâce notamment aux travaux de Principe et d'autres; ainsi que la découverte du rôle que joue certaines mesures d'information (dont l'information mutuelle, l'entropie relative et d'autres) dans le contrôle du pouvoir de généralisation et/ou stabilité des algorithmes. Conjugué à l'avènement de la massification des données, cette évolution nécessite de développer de nouvelles méthodes d'estimation de ces mesures d'information, surtout en grande dimension où ce processus pose de nombreux challenges aussi bien sur l'aspect théorique qu'algorithmique. Le problème de l'identification et l'extraction des composantes d'un signal qui sont pertinentes pour une tâche d'inférence a lien avec l'aspect de la sémantique des données. Par exemple, pour un problème de classification d'images quelles sont les parties d'une image qui sont responsable d'une classification correcte ? Qu'est ce qu'un réseau de neurones doit apprendre pour pouvoir classer correctement ? En échangeant et en stockant uniquement les informations les plus actuelles et les plus pertinentes, la communication sémantique permet de diminuer la charge de trafic ainsi que le stockage dans le réseau. Dans cette thèse nous prévoyons de développer un cadre unifié pour la compression, la communication et la détection sémantique en concevant trois blocs de construction : i) extraction d'informations à partir de plusieurs capteurs ii) codage sémantique iii) fusion d'informations codées à plusieurs terminaux Nous exploitons principalement des outils de codage de source, d'un point de vue de théorie de l'information, à l'aide de mesures de distorsion logarithmique.

Statistical learning methods based on information theory have developed during the last decade thanks to work from Principe and others. Also, thanks to the discovery of the role of some information measures (mutual information, relative entropy, etc.) in the control of generalization and stability of learning algorithms. Associated to the appearance of massive amounts of data, this evolution requires new estimation methods of such information measures especially in high dimension where theoretical and algorithmic challenges appear. The problem of identifying and extracting relevant components of a signal for an inference task is linked to the semantic aspect of the data. For instance, in an image classification task what are the parts of an image that are responsible for a correct classification? What does a neural network have to learn in order to correctly classify? By exchanging and storing only the most relevant and recent information, semantic communication allows reducing the traffic and storage in the network. In this thesis, we are planning to develop a unified framework for semantic compression, communication and detection by designing 3 construction blocks: i) information extraction from multiple sensors ii) semantic coding iii) fusion of encoded information We will mainly exploit source coding tools, from an information theoretic point of view, with logarithmic distortion measures.