World model permettant l'intégrité de l'information pour véhicules autonomes

A world model enabling information integrity for autonomous vehicles

• Auteur / Autrice : Corentin Sanchez
• Direction : Philippe Bonnifait, Philippe Xu
• Type : Thèse de doctorat
• Discipline(s) : Automatique et Robotique : Unité de recherche Heudyasic (UMR-7253)
• Date : Soutenance le 03/05/2022
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale 71, Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Heuristique et Diagnostic des Systèmes Complexes [Compiègne] / Heudiasyc

Mots clés

Mots clés contrôlés

Lidar

Temps réel (informatique)

Théorie des graphes

Prise de décision

Théorie de la prévision

Reconnaissance des formes (informatique)

Analyse de scènes (informatique)

Capteurs (technologie)

Véhicules autonomes

Mots clés libres

World Model

Lane Grid Map

Compréhension de situation

Intégrité

Niveaux d'abstraction

Prédiction

World Model

Lane Grid Map

Situation awareness

Integrity

Interaction graph

Abstraction levels

Prediction

Autonomous vehicles

Sensors

Résumé

Pour conduire dans des environnements urbains complexes, les véhicules autonomes doivent comprendre leur environnement de conduite. Cette tâche, également connue sous le nom de “connaissance de la situation”, repose sur une représentation virtuelle interne du monde fait par le véhicule, appelée “World Model”. Cette représentation est généralement construite à partir d’informations fournies par de multiples sources. Les cartes de navigation haute définition fournissent des informations préalables telles que la topologie du réseau routier, la description géométrique de la route et des informations sémantiques, en incluant le code de la route. Le système de perception fournit une description de l’espace et des usagers de la route ´évoluant dans l’environnement du véhicule. Conjointement, ils fournissent des représentations de l’environnement (statique et dynamique) et permettent de modéliser les interactions. Dans des situations complexes, un “World Model” fiable et non trompeur est nécessaire pour éviter des prises de décision inappropriées et assurer la sécurité. L’objectif de cette thèse est de proposer un nouveau formalisme sur le concept de “World Model” qui répond aux exigences de “connaissance de la situation” pour un véhicule autonome. Ce “World Model” intègre des connaissances préalables sur la topologie du réseau routier, une représentation basée grille au niveau des voies, sa prédiction dans le temps et surtout un mécanisme de contrôle et de surveillance de l’intégrité des informations. Le concept de “World Model” est présent dans de nombreuses architectures de véhicules autonomes, mais il peut prendre des formes très diverses et parfois seulement implicites. Dans certains travaux, il fait partie du processus de perception alors que dans d’autres, il fait partie d’un processus de décision. La première contribution de cette thèse est une étude sur le concept de “World Model” pour la conduite autonome couvrant différents niveaux d’abstraction pour la représentation de l’information et le raisonnement. Ensuite, une nouvelle représentation est proposée pour le “World Model” au niveau tactique combinant des objets dynamiques et des informations d’occupation spatiale. Tout d’abord, une approche descendante basée sur les graphes utilisant une carte haute d´définition est proposée pour extraire les zones d’intérêt par rapport à la situation du point de vue du véhicule. Elle est ensuite utilisée pour construire une “Lane Grid Map” (LGM), qui est une représentation intermédiaire de l’état de l’espace du point de vue de l’ego véhicule. Cette approche descendante est choisie pour évaluer et caractériser les informations pertinentes de la situation. En plus des états occupés et libres classiques, nous caractérisons davantage l’état inconnu par les notions de zones dites neutralisées et sûres qui fournissent un niveau plus profond de compréhension de la situation. Une autre contribution au “World Model” est un mécanisme de gestion de l’intégrité qui est construit sur la représentation Lane Grid Map. Il consiste à gérer l’échantillonnage spatial des cellules de la grille afin de prendre en compte les erreurs de localisation et de perception et d’éviter les informations trompeuses. Indépendamment de la confiance accordée aux informations de localisation et de perception, la LGM doit être capable de fournir des informations fiables au module de prise de décisions afin de ne pas prendre de décisions dangereuses. La dernière partie de la stratégie de “connaissance de la situation” est la prédiction du “World Model” basée sur la représentation LGM. La principale contribution est de montrer comment une prédiction classique au niveau des objets s’adapte à cette représentation et que l’intégrité peut également être étendue au stade de la prédiction. Il est également décrit comment une zone neutralisée peut être utilisée dans l’étape de prédiction pour fournir une meilleure prédiction de la situation.

To drive in complex urban environments, autonomous vehicles need to understand their driving context. This task, also known as the situation awareness, relies on an internal virtual representation of the world made by the vehicle, called world model. This representation is generally built from information provided by multiple sources. High definition navigation maps supply prior information such as road network topology, geometric description of the carriageway, and semantic information including traffic laws. The perception system provides a description of the space and of road users evolving in the vehicle surroundings. Conjointly, they provide representations of the environment (static and dynamic) and allow to model interactions. In complex situations, a reliable and non-misleading world model is mandatory to avoid inappropriate decision-making and to ensure safety. The goal of this PhD thesis is to propose a novel formalism on the concept of world model that fulfills the situation awareness requirements for an autonomous vehicle. This world model integrates prior knowledge on the road network topology, a lane-level grid representation, its prediction over time and more importantly a mechanism to control and monitor the integrity of information. The concept of world model is present in many autonomous vehicle architectures but may take many various forms and sometimes only implicitly. In some work, it is part of the perception process when in some other it is part of a decisionmaking process. The first contribution of this thesis is a survey on the concept of world model for autonomous driving covering different levels of abstraction for information representation and reasoning. Then, a novel representation is proposed for the world model at the tactical level combining dynamic objects and spatial occupancy information. First, a graph based top-down approach using a high-definition map is proposed to extract the areas of interests with respect to the situation from the vehicle's perspective. It is then used to build a Lane Grid Map (LGM), which is an intermediate space state representation from the ego-vehicle point of view. A top-down approach is chosen to assess and characterize the relevant information of the situation. Additionally to classical free-occupied states, the unknown state is further characterized by the notions of neutralized and safe areas that provide a deeper level of understanding of the situation. Another contribution to the world model is an integrity management mechanism that is built upon the LGM representation. It consists in managing the spatial sampling of the grid cells in order to take into account localization and perception errors and to avoid misleading information. Regardless of the confidence on localization and perception information, the LGM is capable of providing reliable information to decision making in order not to take hazardous decisions.The last part of the situation awareness strategy is the prediction of the world model based on the LGM representation. The main contribution is to show how a classical object-level prediction fits this representation and that the integrity can also be extended at the prediction stage. It is also depicted how a neutralized area can be used in the prediction stage to provide a better situation prediction. The work relies on experimental data in order to demonstrate a real application of a complex situation awareness representation. The approach is evaluated with real data obtained thanks to several experimental vehicles equipped with LiDAR sensors and IMU with RTK corrections in the city of Compi_egne. A high-definition map has also been used in the framework of the SIVALab joint laboratory between Renault and Heudiasyc CNRS-UTC. The world model module has been implemented (with ROS software) in order to fulfll real-time application and is functional on the experimental vehicles for live demonstrations.