Sur les algorithmes de projections en entropie relative avec contraintes marginales

On algorithms pf projections in relative entropy with marginal constraints

• Auteur / Autrice : Julie Champion
• Direction : Franck Barthe, Djalil Chafaï
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance en 2013
• Etablissement(s) : Toulouse 3

Mots clés

Mots clés contrôlés

Algorithmes

Entropie maximale, Méthode d'

Mots clés libres

Entropie relative

Projections

Marginales prescrites

Résumé

Cette thèse est centrée autour d'un algorithme de construction de mesures de probabilités à lois marginales prescrites, appelé Iterative Proportional Fitting (IPF). Issu de la statistique, cet algorithme est basé sur des projections successives sur des espaces de probabilités avec la pseudo-distance d'entropie relative de Kullback-Leibler. Cette thèse constitue un panorama des résultats disponibles sur le sujet, et contient quelques extensions et raffinements. La première partie est consacrée à l'étude des projections en entropie relative, à des critères d'existence, d'unicité ainsi que de caractérisation liés à la fermeture d'une somme de sous- espaces. Sous certaines conditions, le problème devient un problème de maximum d'entropie pour des contraintes marginales graphiques. La seconde partie met en avant le procédé itératif IPF. Répondant à l'origine à un problème d'estimation pour les tables de contingence, il constitue plus généralement un analogue d'un algorithme classique de projections alternées sur des espaces de Hilbert. Après avoir présenté les propriétés de l'IPF, on s'intéresse à des résultats de convergence dans le cas fini discret et dans le cas gaussien, ainsi qu'au cas continu à deux marginales, pour lequel une extension est proposée. On traite ensuite plus particulièrement du cas gaussien, pour lequel une nouvelle formulation de l'IPF permet d'obtenir une vitesse de convergence dans le cas à deux marginales prescrites, dont on montre l'optimalité en dimension 2.

This work is focused on an algorithm of construction of probability measures with prescribed marginal laws, called Iterative Proportional Fitting (IPF). Deriving from statistical problems, this algorithm is based on successive projections on probability spaces for the relative entropy pseudometric of Kullback Leibler. This thesis consists in a survey of the current results on this subject and gives some extensions and subtleties. The first part deals with the study of projections in relative entropy, namely existence, uniqueness criteria, and characterization properties related to closedness of sumspaces. Under certain assumptions, the problem becomes a problem of maximisation of the entropy for graphical marginal constraints. In the second part, we study the iterative procedure IPF. Introduced initially for an estimation problem on contingency tables, it corresponds in a more general setting to an analogue of a classic algorithm of alternating projections on Hilbert spaces. After presenting the IPF properties, we look for convergence results in the finite discrete case, the Gaussian case, and the more general continuous case with two marginals, for which some extensions are given. Then, the thesis focused on Gaussian case with two prescribed marginal, for which we get a rate of convergence using a new formulation of the IPF. Moreover we prove the optimality for the 2-dimensional case.