Améliorations des représentations pour la conduite autonome

Efficient Representations for Autonomous Driving

• Auteur / Autrice : Loïck Chambon
• Direction : Matthieu Cord
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 23/02/2026
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Catherine Achard
• Jury : Examinateurs / Examinatrices : Fatma Güney, Éloi Zablocki
• Jury : Rapporteurs / Rapporteuses : Alexandre Alahi, Vincent Lepetit
• DOI : 10.70675/a24a7fbaz031ez4c52zba86zc1d8c62ec3b3

Mots clés

Mots clés contrôlés

Véhicules autonomes

Vision par ordinateur

Intelligence artificielle

Mots clés libres

Intelligence artificielle

Voiture autonome

Vision par ordinateur

Artificial Intelligence

Autonomous Driving

Computer Vision

Résumé

Pour naviguer en toute sécurité dans le monde réel, les véhicules autonomes doivent être capables de percevoir et de comprendre un environnement complexe et dynamique. À cette fin, ils sont équipés de capteurs variés fournissant des données brutes riches et diversifiées. La qualité des représentations extraites de ces données est cruciale pour obtenir de bonnes performances. Cependant, dans un système embarqué, les contraintes de temps de calcul et de ressources sont également critiques. Obtenir des représentations de haute qualité tout en minimisant le coût de calcul et l'utilisation des ressources reste donc un défi majeur. Dans cette thèse, nous visons à améliorer les représentations à la fois en termes de qualité et d'efficacité. Dans un premier temps, nous étudierons la segmentation en vue de dessus Bird's-Eye View (BEV) à partir d'images caméras. Cette tâche consiste à prédire la position statique et dynamique des agents dans une scène urbaine, sans recourir à des données 3D en entrée. L'objectif sera de concevoir un réseau atteignant de hautes performances tout en restant significativement plus efficace en calcul que les approches existantes. Dans un second temps, nous nous concentrerons sur la reconstruction 3D sémantique de scènes urbaines à partir d'images caméras. Cette tâche consiste à attribuer une classe sémantique à chaque voxel d'une grille 3D couvrant la scène, sans utiliser de capteurs 3D en entrée. Pour améliorer la qualité des représentations dans les réseaux existants, nous proposerons un nouvel objectif d'entraînement imposant la reprojection des représentations 3D dans le domaine image, alignant ainsi les prédictions 2D et 3D. Enfin, nous étudierons le sur-échantillonnage de caractéristiques visuelles pour améliorer la qualité des représentations pour diverses tâches, y compris la conduite autonome. Les réseaux basés sur les images sous-échantillonnent généralement les informations spatiales pour produire des représentations sémantiquement riches, alors que de nombreuses tâches bénéficient de caractéristiques à plus haute résolution. Augmenter simplement la résolution d'entrée entraîne cependant un surcoût computationnel important. L'objectif sera donc de développer des méthodes permettant d'obtenir des représentations haute résolution avec un coût de calcul minimal, améliorant ainsi la précision et l'efficacité des représentations.

To navigate safely in the real world, self-driving cars must be capable of perceiving and understanding a complex and dynamic environment. To this end, they are equipped with a variety of sensors that provide rich and diverse raw data. The quality of the representations extracted from these data is crucial for achieving strong performance on downstream tasks. However, within an embedded system, constraints on computation time and resources are also critical. Consequently, obtaining high-quality representations while minimizing computational cost and resource usage remains a major challenge. In this thesis, we aim to improve representations in terms of both quality and efficiency with a particular focus on camera-based perception. First, we will study Bird's-Eye View (BEV) segmentation from camera images. This task involves predicting the static and dynamic locations of agents in an urban scene without relying on any 3D input. The objective will be to design a network that achieves high performance while being significantly more computationally efficient than existing approaches. Second, we will focus on semantic 3D reconstruction of urban scenes from camera images. This task consists of assigning a semantic class to each voxel of a 3D grid covering the scene, without using any 3D sensors as input. To enhance the quality of representations in existing networks, we will propose a novel training objective that enforces the reprojection of 3D representations into the image domain, thereby aligning 2D and 3D predictions. Finally, we will study feature upsampling to improve the quality of visual representations for various tasks, including autonomous driving. Image-based networks typically downsample spatially to produce semantically rich representations, yet many downstream tasks benefit from higher-resolution features. Simply increasing the input resolution, however, leads to substantial computational overhead. The goal will therefore be to develop methods that produce high-resolution representations at minimal computational cost, improving both the accuracy and efficiency of representations.