Représentations visuelles structurées avec modèles de fondations

Structured Visual Representations with Foundation Models

• Auteur / Autrice : Paul Couairon
• Direction : Nicolas Thome, Jean-Emmanuel Haugeard
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 04/11/2025
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Matthieu Cord
• Jury : Examinateurs / Examinatrices : Vicky Kalogeiton, Alexandre Alahi
• Jury : Rapporteurs / Rapporteuses : Stéphane Lathuiliere, Frédéric Jurie

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage automatique

Reconnaissance des formes (informatique)

Traitement d'images -- Techniques numériques

Vision par ordinateur

Mots clés libres

Modèles de fondation

Apprentissage de représentation

Edition vidéo

Augmentation de représentation

Foundation Models

Representation Learning

Video Editing

Feature Upsampling

Résumé

Les modèles de fondations entraînés sur des ensembles de données à grande échelle — en particulier ceux dotés de fortes capacités en zero-shot — offrent une voie prometteuse pour réduire la dépendance aux données annotées. Parmi eux, les modèles génératifs basés sur la diffusion se démarquent grâce à leur capacité à synthétiser des images de haute qualité à partir d'instructions en langage naturel. Contrairement aux encodeurs discriminatifs, les modèles de diffusion sont entraînés à grande échelle avec un objectif génératif stable, et sont intrinsèquement alignés avec les entrées textuelles, ce qui en fait de solides candidats pour unifier vision et langage au sein d'un cadre d'apprentissage unique. Ces propriétés suggèrent que ces modèles pourraient encoder, en interne, des représentations sémantiques riches et structurées, dont le potentiel dépasse largement la simple génération. Pourtant, leur potentiel en matière de compréhension visuelle structurée reste largement inexploité. Une question ouverte est de savoir si leurs mécanismes génératifs peuvent être détournés pour réaliser des manipulations vidéo cohérentes dans le temps — une tâche nécessitant à la fois une consistance inter-image et une conformité aux instructions textuelles. Bien que les modèles de diffusion aient obtenu des résultats remarquables en édition d'images, étendre ces capacités à la vidéo reste un défi majeur. Les approches existantes s'appuient souvent sur des modifications architecturales lourdes ou sur une supervision explicite entre les images, ce qui limite leur flexibilité. Montrer que la structure temporelle et le contrôle sémantique peuvent émerger d'un modèle de diffusion d'images gelé représenterait une avancée clé vers des systèmes d'édition vidéo polyvalents. Une autre direction encore peu explorée concerne l'utilisation des représentations internes des modèles de diffusion pour des tâches de prédiction dense, telles que la segmentation sémantique. Contrairement aux encodeurs explicitement entraînés pour la discrimination, les modèles de diffusion ne sont pas optimisés pour la séparation de catégories ou la localisation fine. Néanmoins, leurs architectures de type U-Net multi-échelles, combinées à un entraînement génératif riche, peuvent encoder des hiérarchies spatiales latentes exploitables avec une supervision minimale. Comprendre comment extraire et interpréter ces représentations dans un cadre de segmentation zero-shot ouvre de nouvelles perspectives pour réutiliser les modèles génératifs comme épines dorsales visuelles généralistes. Enfin, une limitation persistante des modèles de diffusion — et des modèles fondamentaux en général — réside dans leur manque de granularité spatiale. Des choix architecturaux tels que le sous-échantillonnage agressif ou l'usage d'espaces latents conduisent souvent à des représentations internes trop grossières pour des tâches nécessitant un raisonnement haute résolution, comme la segmentation de parties, la manipulation d'objets ou la compréhension visuelle détaillée. Surmonter cette limitation suppose de repenser la manière dont les détails sont préservés et raffinés dans les représentations, potentiellement via des mécanismes d'attention ou des modifications architecturales visant à améliorer la fidélité spatiale sans compromettre la richesse sémantique. Pris ensemble, ces défis définissent le cadre scientifique de cette thèse : explorer comment les modèles de diffusion génératifs — conçus à l'origine pour la synthèse d'images — peuvent être réinterprétés, augmentés et réutilisés pour aborder des problèmes fondamentaux d'édition vidéo zero-shot, de prédiction dense et de raisonnement visuel à haute résolution. Répondre à ces questions permet non seulement de mieux comprendre le fonctionnement des modèles de diffusion, mais aussi de répondre aux besoins concrets des systèmes d'IA robustes et intégrés dans les applications industrielles.

Foundation models trained on large-scale datasets - particularly those with strong zero-shot capabilities - offer a promising path toward reducing reliance on annotated data. Among these, diffusion-based generative models have emerged as especially attractive due to their ability to synthesize high-quality images from natural language prompts. Unlike discriminative encoders, diffusion models are natively trained at scale with a stable generative objective and are inherently aligned with textual inputs, making them strong candidates for unifying vision and language under a single training framework. These properties suggest that such models may internally encode rich, semantically structured representations with potential far beyond generation alone. Yet, the potential of these models for structured visual understanding remains largely untapped. One open question is whether their generative mechanisms can be repurposed for temporally coherent video manipulation, a task that demands consistency across frames and alignment with textual instructions. While diffusion models have achieved remarkable results in image editing, extending these capabilities to video remains a significant challenge. Existing approaches typically rely on heavy architectural modifications or supervision across frames, limiting their adaptability. Demonstrating that temporal structure and semantic control can emerge from a frozen image-based diffusion model would represent a critical step toward general-purpose video editing systems. Another underexplored direction is the use of internal diffusion representations for dense prediction tasks, such as semantic segmentation. Unlike encoders explicitly trained for discrimination, diffusion models are not optimized for category separation or fine-grained localization. Nonetheless, their multi-scale U-Net architectures and rich generative training may still encode latent spatial hierarchies that can be leveraged with minimal supervision. Understanding how to extract and interpret these features for zero-shot segmentation opens new avenues for reusing generative models as general-purpose visual backbones. Finally, a persistent limitation of diffusion models and foundation models more globally, lies in their lack of spatial granularity. Architectural choices such as aggressive downsampling or the use of latent spaces often lead to coarse internal representations that fall short in tasks requiring high-resolution reasoning—such as part segmentation, object manipulation, or detailed visual understanding. Overcoming this limitation involves rethinking how feature detail is preserved and refined, possibly through attention mechanisms or architectural augmentations that enhance spatial fidelity without sacrificing semantic richness. Taken together, these challenges define the scientific scope of this thesis: exploring how generative diffusion models—originally designed for image synthesis—can be reinterpreted, augmented, and repurposed to address core problems in zero-shot video editing, dense prediction, and fine-grained visual reasoning. Addressing these questions not only advances our understanding of diffusion-based models but also aligns closely with the practical needs of robust, embedded AI systems in industrial applications.