Apprentissage multimodal efficace et évolutif

Efficient and scalable multimodal learning

• Auteur / Autrice : Mustafa Shukor
• Direction : Matthieu Cord
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 24/03/2026
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Mohamed Chetouani
• Jury : Examinateurs / Examinatrices : Cordelia Schmid, Vicky Kalogeiton
• Jury : Rapporteurs / Rapporteuses : Graham Taylor, Christian Wolf
• DOI : 10.70675/59b4ea33zaa5bz40c3zb89cz5619c9158b46

Mots clés

Mots clés contrôlés

Apprentissage automatique

Apprentissage auto-supervisé (intelligence artificielle)

Traitement automatique du langage naturel

Vision par ordinateur

Mots clés libres

Image-texte

Apprentissage efficace

Transfert efficace

Vision-language models

Vision-language pretraining

Efficient learning

Efficient finetuning

Résumé

Les modèles de fondation ont permis des avancées spectaculaires en perception et en langage, mais leurs coûts d’entraînement et de déploiement limitent de plus en plus l’accessibilité, la reproductibilité et la durabilité. Cette thèse développe une perspective unifiée de l’efficacité des modèles de fondation multimodaux — au sens des paramètres, du calcul, des données et de la conception architecturale — et propose des méthodes et des principes rendant les grands systèmes multimodaux à la fois plus abordables et mieux compris. Nous étudions d’abord l’adaptation et l’inférence efficaces des grands modèles de langage multimodaux, en montrant que des performances compétitives sur des tâches image–texte, vidéo–texte et audio–texte peuvent être obtenues dans des régimes d’adaptation extrêmement parcimonieux en paramètres, en gelant plus de 99% des backbones vision et langage et en n’entraînant que des connecteurs légers (p. ex., eP-ALM et DePALM) ; nous réduisons ensuite davantage le coût d’inférence en mettant en évidence des redondances entre couches et en proposant des stratégies de saut de calcul sélectif au niveau des jetons et des couches. Nous abordons ensuite le pré-entraînement multimodal efficace en unifiant tâches et modalités au sein d’un cadre unique de type séquence-à-séquence (UnIVAL), en proposant un objectif autorégressif multimodal général pour de grands encodeurs visuels (AIMv2), et en dérivant des lois d’échelle ainsi que des recommandations compute-optimales pour des architectures multimodales natives et pour le choix de mélanges de données optimaux sous contraintes budgétaires. Nous complétons ces avancées par de l’analyse et du contrôle : en étudiant les représentations internes de LLMs multimodaux gelés ou affinés, nous caractérisons l’alignement multimodal implicite, relions le désalignement à des modes d’échec tels que les hallucinations, et proposons des mécanismes de pilotage par activations permettant d’améliorer la contrôlabilité sans entraînement supplémentaire. Enfin, nous transposons ces idées à des applications pratiques en concevant des agents multimodaux compacts pour des contextes incarnés, notamment des politiques vision–langage–action efficaces (SmolVLA) et une prédiction dans un espace d’embedding pour une compréhension en flux à faible latence (VL-JEPA). Au final, cette thèse fournit une boîte à outils cohérente et un ensemble de principes empiriques pour construire des modèles de fondation multimodaux conscients des coûts de calcul, économes en données et contrôlables — afin de démocratiser leur développement et leur déploiement tout en améliorant leur fiabilité en conditions réelles.

Foundation models have enabled striking advances in perception and language, but their training and deployment costs increasingly limit accessibility, reproducibility, and sustainability. This thesis develops a unified perspective on efficiency in multimodal foundation models — spanning parameters, compute, data, and architectural design — and presents methods and principles that make large multimodal systems both more affordable and better understood. We first study efficient post-training and inference for multimodal large language models, showing that competitive performance on image-, video-, and audio- language benchmarks can be achieved in extreme parameter-efficient regimes by freezing more than 99% of the vision and language backbones and training only lightweight connectors (e.g., eP-ALM and DePALM) ; we then reduce inference cost further by identifying redundancy across layers and proposing selective computation skipping at the token and layer levels. Next, we address efficient multimodal pretraining by unifying tasks and modalities within a single sequence-to-sequence framework (UnIVAL), proposing a general multimodal autoregressive objective for large vision encoders (AIMv2), and deriving scaling laws and compute-optimal guidelines for native multimodal architectures and for choosing optimal data mixtures under fixed budgets. We complement these advances with understanding and control: by analyzing internal representations of frozen and finetuned multimodal LLMs, we characterize implicit multimodal alignment, connect misalignment to failure modes such as hallucinations, and propose activation-steering mechanisms that improve controllability without additional training. Finally, we translate these ideas into practical applications by designing compact multimodal agents for embodied settings, including efficient vision-language-action policies (SmolVLA) and embedding-based prediction for low-latency streaming understanding (VL-JEPA). Overall, the thesis provides a coherent toolbox and set of empirical principles for building multimodal foundation models that are compute-aware, data-efficient, and controllable — helping democratize their development and deployment while improving reliability in real-world use.