Poursuite multi-cibles et nouvelles approches variationnelles pour les données séquentielles en grande dimension : application au comptage d'objets dans les vidéos

Multi-target tracking and novel variational approaches for high-dimensional sequential data : an application to object counting in videos

• Auteur / Autrice : Mathis Chagneux
• Direction : Sylvain Le corff
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 21/11/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : : Télécom Paris (Palaiseau ; 1977-....)
• Jury : Président / Présidente : Wojciech Pieczynski
• Jury : Examinateurs / Examinatrices : Wojciech Pieczynski, Nathalie Peyrard, Adeline Leclercq-Samson, François Portier, Anna Korba
• Jury : Rapporteurs / Rapporteuses : Nathalie Peyrard, Adeline Leclercq-Samson

Mots clés

Mots clés contrôlés

Théorie des machines séquentielles

Chiffrement (informatique)

Vidéos

Poursuite automatique

Mots clés libres

Poursuite multi-Cibles

Inférence variationnelle

Données séquentielles

Vision par ordinateur

Modèles à espace d'état

Multi-Object traking

Variational inference

Sequential data

Computer vision

State-Space models

Résumé

Dans cette thèse, nous nous intéressons à de nouvelles approaches pour les problèmes de prédiction associés à des données séquentielles en grande dimension, en s'intéressant particulièrement aux données faiblement annotées et à l'économie de ressources computationelles. Dans le cadre d'un problème spécifique de comptage de macrodéchets à partir de vidéos, nous développons d'abord une solution robuste basée sur une approches de poursuite multi-cibles, qui combine l'apprentissage profond et l'estimation bayésienne récursive classique. Etant donné les récentes formulations de problèmes similaires sous forme d'estimateurs statistiques dans des modèles à données latentes de grande dimension, nous nous concentrons sur les extensions récentes des méthodes d'inférence variationelles au cadre séquentiel. Dans ce cadre, nous étudions les aspects théoriques et computationels de la factorization dite "backward", qui est une paramétrisation prometteuse pour les approximations variationnelles des distributions de lissage dans les modèles à espaces d'états. En particular, sous ces approximations "backward", nous obtenons une borne théorique pour l'erreur d'approximation d'espérances de fonctionnelles additives, et nous développons un algorithme efficace pour l'inférence d'état recursive et l'apprentissage en ligne des paramètres variationels. Ces contributions renforcent la pertinence des approches variationelles en tant qu'alternatives au méthodes Monte Carlo pour les données séquentielles, et ouvrent la voie à leur adoption en tant qu'estimateurs génériques pour la prévision non supervisée dans les données temporelles en grande dimension, comme pour le comptage dans les vidéos.

This thesis studies novel approaches for prediction in high-dimensional sequential data, with a particular focus on scalability and weakly annotated settings. Motivated by the specific task of macrolitter counting in videos, we first derive a robust solution based on the multi-target tracking methodology, which combines deep learning and classical recursive Bayesian estimation.Then, we focus on the recent extensions of variational inference methods to the sequential setting, motivated by recent formulations of multi-target problems as statistical estimates in high-dimensional latent data models. Here, we study theoretical and computational aspects of the so-called backward factorization as a promising parameterization for variational approximations of the smoothing distributions in general state-space models. In particular, under such backward variational approximations, we derive a theoretical bound for the approximation error when considering expectations of additive state functionals, and develop an efficient algorithm for recursive latent estimation and online learning of the variational parameters. These contributions strengthen the relevance of variational approaches as alternatives to Monte Carlo methods in sequential settings, and pave the way to their adoption as generic solutions for unsupervised prediction in high-dimensional temporal data, such as for video object counting.