Réseaux de neurones profonds pour la compréhension de scène et la planification de trajectoire pour les véhicules autonomes

Deep convolutional neural networks for scene understanding and motion planning for self-driving vehicles

• Auteur / Autrice : Abdelhak Loukkal
• Direction : Yves Grandvalet
• Type : Thèse de doctorat
• Discipline(s) : Informatique : Unité de recherche Heudyasic (UMR-7253)
• Date : Soutenance le 05/05/2021
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale 71, Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Heuristique et Diagnostic des Systèmes Complexes [Compiègne] / Heudiasyc

Mots clés

Mots clés contrôlés

Lidar

Capteurs (technologie)

Fusion multicapteurs

Véhicules autonomes

Reconnaissance des formes (informatique)

Analyse de scènes (informatique)

Robotique

Vision artificielle (robotique)

Vision par ordinateur

Intelligence artificielle

Réseaux neuronaux (informatique)

Mots clés libres

Algorithmes de navigation

Perception

Neural networks

Autonomous vehicles

Artificial intelligence

Robotics

Perception

Computer vision

Robot vision

Pattern recognition systems

Multisensor data fusion

Lidar

Résumé

Au cours de cette thèse, des approches de perception pour les véhicules autonomes ont été développées en utilisant des réseaux de neurones convolutifs profonds appliqués à des images de caméra monoculaire et à des images rastérisées de cartes haute définition (HD-map). Nous nous sommes concentrés sur des solutions utilisant uniquement la caméra au lieu de tirer parti de la fusion de capteurs avec des capteurs de distance, car les caméras sont les capteurs les plus rentables et les plus discrets. L'objectif était également de montrer que les approches basées sur des caméras peuvent fonctionner au même niveau que les solutions basées sur LiDAR sur certaines tâches de vision 31). Des données du monde réel ont été utilisées pour l'entraînement et l'évaluation des approches développées, mais la simulation a également été exploitée lorsque les données annotées faisaient défaut ou pour des raisons de sécurité lors de l'évaluation des capacités de conduite. Les caméras fournissent des informations visuelles dans un espace projectif où l'effet de perspective ne préserve pas l'homogénéité des distances. Les tâches de compréhension de scène telles que la segmentation sémantique sont ensuite souvent effectuées dans l'espace de vue de la caméra, puis projetées en 3D à l'aide d'un capteur de profondeur précis tel qu'un LiDAR. Avoir cette compréhension de scène dans l'espace 31) est utile car les véhicules évoluent dans le monde 3D et les algorithmes de navigation raisonnent dans cet espace. Notre objectif était alors d'exploiter les connaissances géométriques sur les paramètres de la caméra et sa position dans le monde 3D pour développer une approche qui perm la compréhension de la scène dans l'espace 31) en utilisant uniquement une image monoculaire comme entrée. Les réseaux de neurones se sont également avérés utiles pour plus que la simple perception et sont de plus en plus utilisés pour les tâches de navigation et de planification qui s'appuient sur les sorties de perception. Etre capable de produire des informations de compréhension de scène 31) à partir d'une caméra monoculaire nous a également permis d'explorer la possibilité d'avoir un réseau neuronal holistique de bout en bout qui prend une image de caméra en entrée, extrait des informations sémantiques intermédiaires dans l'espace 3D, puis planifie la trajectoire du véhicule.

During this thesis, some perception approaches for self-driving vehicles were developed using de convolutional neural networks applied to monocular camera images and High-Definition map (HD-ma rasterized images. We focused on camera-only solutions instead of leveraging sensor fusion with rang sensors because cameras are the most cost-effective and discrete sensors. The objective was also to show th camera-based approaches can perform at par with LiDAR-based solutions on certain 3D vision tasks. Rea world data was used for training and evaluation of the developed approaches but simulation was als leveraged when annotated data was lacking or for safety reasons when evaluating driving capabilities. Cameras provide visual information in a projective space where the perspective effect does not preserve th distances homogeneity. Scene understanding tasks such as semantic segmentation are then often operated i the camera-view space and then projected to 3D using a precise depth sensor such as a LiDAR. Having thi scene understanding in the 3D space is useful because the vehicles evolve in the 3D world and the navigatio algorithms reason in this space. Our focus was then to leverage the geometric knowledge about the camer parameters and its position in the 3D world to develop an approach that allows scene understanding in the 3D space using only a monocular image as input. Neural networks have also proven to be useful for more than just perception and are more and more used fo the navigation and planning tasks that build on the perception outputs. Being able to output 3D scen understanding information from a monocular camera has also allowed us to explore the possibility of havin an end-to-end holistic neural network that takes a camera image as input, extracts intermediate semantic information in the 3D space and then lans the vehicle's trajectory.