Bornes sur l’exposant d’erreur et schémas de codage pratiques pour le test d’hypothèse distribué

Error exponent bounds and practical short-length coding schemes for Distributed Hypothesis Testing (DHT)

• Auteur / Autrice : Ismaila Salihou Adamou
• Direction : Elsa Dupraz
• Type : Thèse de doctorat
• Discipline(s) : Télécommunication
• Date : Soutenance le 09/12/2024
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et le numérique
• Partenaire(s) de recherche : Laboratoire : Equipe CODES - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance (Brest ; 2012-....)
• Jury : Président / Présidente : Philippe Mary
• Jury : Examinateurs / Examinatrices : Elsa Dupraz, Maël Letreust, Jean-Marc Brossier, Michèle Wigger, Meryem Benammar
• Jury : Rapporteurs / Rapporteuses : Maël Letreust, Jean-Marc Brossier
• DOI : 10.70675/bf10f0d6z4a2bz460bzbfebz887691e006f6

Mots clés

Mots clés contrôlés

Théorie de l'information

Systèmes autonomes distribués (informatique)

Tests

Codage

Mots clés libres

Théorie de l’information

Test d’hypothèse distribué

Spectre d’information

Sources générales

Exposant d’erreur

Quantification

Codes linéaires par bloc

Information theory

Distributed hypothesis testing

Information spectrum

General sources

Error exponent

Quantization

Quantize-binning

Linear block codes

Résumé

Dans les réseaux de communication distribués, les données sont collectées, compressées, et transmises depuis des nœuds distants vers un serveur central pour un traitement ultérieur. Cependant, l’objectif du serveur n’est pas toujours de reconstruire les données originales, mais plutôt de prendre des décisions à partir des données codées reçues. Dans ce contexte, le Test d’Hypothèses Distribué se concentre sur le cas particulier de deux sources et vise à effectuer une prise de décision directement à partir des données compressées, sans passer par une reconstruction préalable. Comme dans le test d’hypothèses classique, deux types d’erreurs sont pris en compte pour évaluer les performances : l’erreur de Type I (fausse alarme) et l’erreur de Type II (décision manquée). Le Test d’Hypothèses Distribué prend en compte une contrainte de débit sur le lien de communication, et l’objectif est de concevoir un schéma de codage afin de maximiser la décroissance exponentielle, appelée exposant d’erreur, de la probabilité d’erreur de Type II, tout en maintenant la probabilité d’erreur de Type I en dessous d’un seuil spécifié. Dans la littérature, ce cadre a principalement été étudié sous un angle théorique de l’information, et la plupart des travaux existants analysent les performances des schémas du Test d’Hypothèses Distribué en supposant des sources indépendantes et identiquement distribuées (i.i.d.).Dans la première partie de cette thèse, nous abordons un modèle plus réaliste et général de sources non-i.i.d. Ce modèle englobe des sources non stationnaires et non ergodiques, reflétant mieux les scénarios réels par rapport au cas i.i.d. Nous dérivons des bornes génériques sur l’exposant d’erreur pour le Test d’Hypothèses Distribué à l’aide d’outils du spectre de l’information pour ce modèle général de sources. Nous montrons la cohérence de ces bornes avec le cas i.i.d. et les caractérisons plus précisément pour deux modèles spécifiques de sources : les sources gaussiennes non-i.i.d., et les sources de type Gilbert-Elliot. De plus, l’étude du Test d’Hypothèses Distribué ne se limite pas à l’analyse des limites théoriques de l’information, mais inclut aussi le développement de schémas de codage pratiques pour ce cadre. Ainsi, dans la deuxième partie de cette thèse, nous développons et implémentons des schémas de codage pratiques de courte longueur, spécialement conçus pour le Test d’Hypothèses Distribué, qui n’avaient pas encore été étudiés dans la littérature. Ces schémas de codage sont basés sur des codes linéaires en blocs et visent des longueurs très courtes, appropriées pour le Test d’Hypothèses Distribué (moins de 100 bits). En outre, nous fournissons des expressions analytiques exactes pour les probabilités d’erreurs de Type I et Type II pour chaque schéma de codage proposé, offrant ainsi des outils utiles pour la conception optimale future de codes DHT. Le travail réalisé dans cette thèse pourrait servir de base à l’investigation théorique et pratique de schémas de codage dédiés à des tâches d’apprentissage plus complexes, telles que la classification.

In distributed communication networks, data is gathered, compressed, and transmitted from remote nodes to a central server for further processing. However, often, the objective of the server is not to reconstruct the original data, but rather to make decisions based on the received coded data. In this context, Distributed Hypothesis Testing (DHT) focuses on the particular case of two sources and addresses decision-making directly from compressed data without prior reconstruction. As in conventional hypothesis testing, two types of errors are considered for performance evaluation: Type-I error (false alarm) and Type-II error (missed detection). DHT considers a rate-limited communication link, and the objective is to design a coding scheme so as to maximize the exponential decay, termed error exponent, of Type-II error probability, while keeping Type-I error probability below a specified threshold. In the literature, this setup was mostly investigated from an information-theoretic perspective, and most existing work analyze the performance of DHT schemes under the assumption of i.i.d. sources. In the first part of this PhD thesis, we address a more realistic and general model of non-i.i.d. sources. This model encompasses non-stationary and non-ergodic sources, and better reflects real-world scenarios compared to the i.i.d. case. We derive generic error exponent DHT bounds using information spectrum tools for the considered general source model. We show the consistency of these bounds with the i.i.d. case and further characterize these bounds for two specific source models: non-i.i.d. Gaussian sources, and Gilbert-Elliot sources. In addition, addressing DHT requires not only the investigation of information-theoretic limits, but also the development of practical coding schemes for this setup. Therefore, in the second part of this thesis, we develop and implement practical short-length coding schemes specifically for DHT, which had not yet been investigated in the literature. These coding schemes are based on linear block codes, and they target very short length which are appropriate for DHT (less than 100 bits). Additionally, we provide tights analytical expressions for the Type-I and Type-II error probabilities for each proposed coding scheme, which provides useful tools for further optimal DHT code designs. The work carried out in this PhD may serve as a basis for the theoretical and practical investigation of coding schemes dedicated to more complex learning tasks such as classification.