Approche théorie de l’information à l’apprentissage statistique : codage distribué de sources sous mesure de fidélité logarithmique

An information-theoretic approach to distributed learning : distributed source coding under logarithmic loss

• Auteur / Autrice : Yigit Ugur
• Direction : Abderrezak Rachedi
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Automatique
• Date : Soutenance le 22/11/2019
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Michel Kieffer
• Jury : Examinateurs / Examinatrices : Abderrezak Rachedi, Giuseppe Caire, Gerald Matz, Abdellatif Zaidi, David Gesbert, Aline Roumy
• Jury : Rapporteurs / Rapporteuses : Giuseppe Caire, Gerald Matz

Mots clés

Mots clés contrôlés

Fonctions logarithmes

Apprentissage automatique

Codage

Mots clés libres

Codage distribué de sources

Apprentissage distribué

Ceo

Mesure de fidelité logarithmiqe

Distributed source coding

Distributed learning

Ceo

Logarithmic loss

Résumé

Une question de fond, souvent discutée dans l’apprentissage de la théorie, est de savoir comment choisir une fonction de `bonne' perte qui mesure la fidélité de la reconstruction à l’originale. La perte logarithmique est largement utilisée comme critère de pénalité dans divers contextes, notamment le regroupement et la classification, la reconnaissance de formes, l'apprentissage et la prédiction, ainsi que le traitement d'images. Compte tenu du nombre élevé de recherches effectuées récemment dans ces domaines, la perte logarithmique devient une métrique très importante et sera l’axe principal en tant que métrique de distorsion dans cette thèse. Dans cette thèse, nous étudions une configuration distribuée, appelée problème de Chief Executive Officer (CEO) dans le cadre d’une mesure de distorsion de perte logarithmique. Plus précisément, les agents observent les versions bruitées d'une source distante indépendamment corrompues et communiquent indépendamment avec un décodeur ou un chef de la direction via des liaisons sans bruit à contrainte de débit. Le CEO a également sa propre observation bruyante de la source et souhaite reconstruire la source distante dans les limites du niveau de distorsion prescrit, où la distorsion induite est mesurée selon le critère de pénalité de perte logarithmique. Une des contributions principales de la thèse est la caractérisation explicite de la région de distorsion du taux du problème vectoriel du PDG gaussien, dans laquelle la source, les observations et les informations complémentaires sont conjointement gaussiennes. Pour la preuve de ce résultat, nous étendons d'abord résultat de Courtade-Weissman sur la région de distorsion des taux du problème de CEO discret sans mémoire au cas où le CEO a accès à un flux d'informations secondaires corrélé qui est tel que les observations des agents sont indépendantes conditionnellement compte tenu des informations secondaires et de la source distante. Ensuite, nous obtenons une borne externe sur la région du problème de vecteur du CEO gaussien en évaluant la limite extérieure du modèle discret sans mémoire au moyen d'une technique qui s'appuie sur l'identité de Bruijn et les propriétés des informations de Fisher. L'approche est similaire à technique de la délimitation externe d'Ekrem-Ulukus pour le problème de vecteur du CEO gaussien sous mesure de distorsion quadratique, pour lequel il était là trouvé généralement non serré; mais il est montré ici pour donner une caractérisation complète de la région pour le cas de mesure de perte logarithmique. L’application de nos résultats nous permet de trouver des solutions complètes de trois problèmes connexes: le problème du CEO du vecteur quadratique gaussien avec contrainte déterminante, le test d'hypothèses gaussiennes distribuées par vecteur contre le problème de l'indépendance conditionnelle et le problème de goulot d'étranglement d'information distribué gaussien de vecteur. Avec la pertinence connue de la mesure logarithmique de fidélité à la perte dans le contexte de l’apprentissage et de la prédiction, développer des algorithmes pour calculer les régions fournies dans cette thèse peut trouver une utilité dans diverses applications où l'apprentissage est effectué de manière distributive. Motivés par ce fait, nous développons deux algorithmes de type: i) algorithmes numériques itératifs de type Blahut-Arimoto pour les modèles discrets et gaussiens dans lesquels la distribution conjointe des sources est connue; ii) un algorithme de type inférence variationnelle dans lequel les mappages de codage sont paramétrés par des réseaux de neurones et la borne de variation approchée par échantillonnage de Markov et optimisé avec descente de gradient stochastique pour le cas où il n'y a qu'un ensemble de données de formation disponible (...)

One substantial question, that is often argumentative in learning theory, is how to choose a `good' loss function that measures the fidelity of the reconstruction to the original. Logarithmic loss is a natural distortion measure in the settings in which the reconstructions are allowed to be `soft', rather than `hard' or deterministic. Logarithmic loss is widely used as a penalty criterion in various contexts, including clustering and classification, pattern recognition, learning and prediction, and image processing. Considering the high amount of research which is done recently in these fields, the logarithmic loss becomes a very important metric and will be the main focus as a distortion metric in this thesis.In this thesis, we investigate a distributed setup, so-called the Chief Executive Officer (CEO) problem under logarithmic loss distortion measure. Specifically, agents observe independently corrupted noisy versions of a remote source, and communicate independently with a decoder or CEO over rate-constrained noise-free links. The CEO also has its own noisy observation of the source and wants to reconstruct the remote source to within some prescribed distortion level where the incurred distortion is measured under the logarithmic loss penalty criterion. One of the main contributions of the thesis is the explicit characterization of the rate-distortion region of the vector Gaussian CEO problem, in which the source, observations and side information are jointly Gaussian. For the proof of this result, we first extend Courtade-Weissman's result on the rate-distortion region of the discrete memoryless (DM) CEO problem to the case in which the CEO has access to a correlated side information stream which is such that the agents' observations are independent conditionally given the side information and remote source. Next, we obtain an outer bound on the region of the vector Gaussian CEO problem by evaluating the outer bound of the DM model by means of a technique that relies on the de Bruijn identity and the properties of Fisher information. The approach is similar to Ekrem-Ulukus outer bounding technique for the vector Gaussian CEO problem under quadratic distortion measure, for which it was there found generally non-tight; but it is shown here to yield a complete characterization of the region for the case of logarithmic loss measure. Also, we show that Gaussian test channels with time-sharing exhaust the Berger-Tung inner bound, which is optimal. Furthermore, application of our results allows us to find the complete solutions of three related problems: the quadratic vector Gaussian CEO problem with determinant constraint, the vector Gaussian distributed hypothesis testing against conditional independence problem and the vector Gaussian distributed Information Bottleneck problem.With the known relevance of the logarithmic loss fidelity measure in the context of learning and prediction, developing algorithms to compute the regions provided in this thesis may find usefulness in a variety of applications where learning is performed distributively. Motivated from this fact, we develop two type algorithms : i) Blahut-Arimoto (BA) type iterative numerical algorithms for both discrete and Gaussian models in which the joint distribution of the sources are known; and ii) a variational inference type algorithm in which the encoding mappings are parametrized by neural networks and the variational bound approximated by Markov sampling and optimized with stochastic gradient descent for the case in which there is only a set of training data is available. Finally, as an application, we develop an unsupervised generative clustering framework that uses the variational Information Bottleneck (VIB) method and models the latent space as a mixture of Gaussians. This generalizes the VIB which models the latent space as an isotropic Gaussian which is generally not expressive enough for the purpose of unsupervised clustering