Application de l’apprentissage machine pour la perception crédibiliste 3D, dans le contexte de la conduite autonome

Application of machine learning techniques for evidential 3D perception, in the context of autonomous driving

• Auteur / Autrice : Édouard Capellier
• Direction : Véronique Berge-Cherfaoui, Franck Davoine
• Type : Thèse de doctorat
• Discipline(s) : Robotique et Sciences et Technologies de l'Information et des Systèmes : Unité de recherche Heudyasic (UMR-7253)
• Date : Soutenance le 14/01/2020
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Heuristique et Diagnostic des Systèmes Complexes [Compiègne] / Heudiasyc
• DOI : 10.70675/654a5182z28e7z454bz83d5z6a37dfbc4fc2

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage automatique

Lidar

Réseaux neuronaux (informatique)

Théorie de Dempster-Shafer

Véhicules autonomes

Vision par ordinateur

Reconnaissance des formes (informatique)

Analyse de scènes (informatique)

Représentation des connaissances

Fusion multicapteurs

Imagerie tridimensionnelle

Mots clés libres

Grille d’occupation

Fusion

Détection d’objet

Cartes HD

Caméra RGB

Deep learning

Machine learning

Neural networks

Dempster-Shafer theory

Occupancy grid

Computer vision

Object detection

Autonomous vehicles

Knowledge representation

RGB camera

Résumé

L’apprentissage machine a révolutionné la manière dont les problèmes de perception sont, actuellement, traités. En effet, la plupart des approches à l’état de l’art, dans de nombreux domaines de la vision par ordinateur, se reposent sur des réseaux de neurones profonds. Au moment de déployer, d’évaluer, et de fusionner de telles approches au sein de véhicules autonomes, la question de la représentation des connaissances extraites par ces approches se pose. Dans le cadre de ces travaux de thèse, effectués au sein de Renault SAS, nous avons supposé qu’une représentation crédibiliste permettait de représenter efficacement le comportement de telles approches. Ainsi, nous avons développé plusieurs modules de perception à destination d’un prototype de véhicule autonome, se basant sur l’apprentissage machine et le cadre crédibiliste. Nous nous sommes focalisés sur le traitement de données caméra RGB, et de nuages de points LIDAR. Nous avions également à disposition des cartes HD représentant le réseau routier, dans certaines zones d’intérêt. Nous avons tout d’abord proposé un système de fusion asynchrone, utilisant d’une part un réseau convolutionel profond pour segmenter une image RGB, et d’autre part un modèle géométrique simple pour traiter des scans LIDAR, afin de générer des grilles d’occupation crédibilistes. Etant donné le manque de robustesse des traitements géométriques LIDAR, les autres travaux se sont focalisés sur la détection d’objet LIDAR et leur classification par apprentissage machine, et la détection de route au sein de scans LIDAR. En particulier, ce second travail reposait sur l’utilisation de scans étiquetés automatiquement à partir de cartes HD.

The perception task is paramount for self-driving vehicles. Being able to extract accurate and significant information from sensor inputs is mandatory, so as to ensure a safe operation. The recent progresses of machine-learning techniques revolutionize the way perception modules, for autonomous driving, are being developed and evaluated, while allowing to vastly overpass previous state-of-the-art results in practically all the perception-related tasks. Therefore, efficient and accurate ways to model the knowledge that is used by a self-driving vehicle is mandatory. Indeed, self-awareness, and appropriate modeling of the doubts, are desirable properties for such system. In this work, we assumed that the evidence theory was an efficient way to finely model the information extracted from deep neural networks. Based on those intuitions, we developed three perception modules that rely on machine learning, and the evidence theory. Those modules were tested on real-life data. First, we proposed an asynchronous evidential occupancy grid mapping algorithm, that fused semantic segmentation results obtained from RGB images, and LIDAR scans. Its asynchronous nature makes it particularly efficient to handle sensor failures. The semantic information is used to define decay rates at the cell level, and handle potentially moving object. Then, we proposed an evidential classifier of LIDAR objects. This system is trained to distinguish between vehicles and vulnerable road users, that are detected via a clustering algorithm. The classifier can be reinterpreted as performing a fusion of simple evidential mass functions. Moreover, a simple statistical filtering scheme can be used to filter outputs of the classifier that are incoherent with regards to the training set, so as to allow the classifier to work in open world, and reject other types of objects. Finally, we investigated the possibility to perform road detection in LIDAR scans, from deep neural networks. We proposed two architectures that are inspired by recent state-of-the-art LIDAR processing systems. A training dataset was acquired and labeled in a semi-automatic fashion from road maps. A set of fused neural networks reaches satisfactory results, which allowed us to use them in an evidential road mapping and object detection algorithm, that manages to run at 10 Hz.