Crossing of Road Intersections : Decision-Making Under Uncertainty for Autonomous Vehicles
Traversée d'une intersection : prise de décision sous incertitudes pour les véhicules autonomes
Résumé
Autonomous vehicles navigation implies that decisions are taken continuously based on a partial and uncertain knowledge of their environment. This is constrained by limited digital representations of the environment and uncertainty associated with the perception process. Further, it is difficult to predict the behaviour of the perceived entities. This is highlighted at crossroad intersections, where most road accidents occur. This thesis proposes a decision-making process that reasons with different types of uncertainties including the behaviour of the observed drivers to plan the vehicle motion.To understand the context and the behaviours of the observed driver's behaviour, a machine learning approach is proposed. The result is feed to the decision-making process to build probabilistic estimation of the environment. The vehicle motion is planned taking into account the effect this might have when the vehicle interact with other entities. Our approach rewards actions that promote interaction and reduces risk. The system behaviour is analysed by using a set of metrics derived from the scenario analysis as well as safety and operational constraints.To infer road context, Gaussian Processes are applied to learn motion patterns from simulated trajectories, which included the effect of vehicle interactions with other entities. The resulting patterns are segmented into areas and used to understand the behaviour of a vehicle approaching an intersection. Then, Random Forest Classifiers are applied to estimate the driver manoeuvre in each area. The dataset used for this training is built using data recorded from road trials and simulations. These classifiers infer lateral and longitudinal manoeuvre by extracting features from the vehicle trajectories. This approach shows that the road context improves the manoeuvre classification and that by mixing few real and simulated trajectories, it is possible to classify the manoeuvres of drivers arriving at an intersection.The decision-making process is built upon Partially Observable Markov Decision Process and uses the output of the manoeuvre understanding. This probabilistic framework reasons including perception and behaviour uncertainty in the environment models. These are used to predict the likely consequences of the autonomous vehicle actions on its immediate environment. However, the evaluation of all combinations of actions and state estimations is complex, therefore, an online solver is used to obtain an approximation of each action value. The vehicle actions are evaluated using a set of rewards, namely: collision risk, behavioural risk, comfort and traffic rules. A weighted sum of linear functions is used to balance each component of the reward function with respect to the vehicle distance to the intersection. It allows to adapt the behaviour of the automated vehicle to different scenarios.To validate the system performances and to determine causes of failure and success, Key Performance Indicators associated to the scenario are proposed. These are part of a generic testing architectures. The approach is applied to cross-cutting scenarios at road intersections, considered very complex and hazardous. Simulation techniques have been used to evaluate the proposed framework, to examine the largest number of scenarios and to be tested in safe conditions.The result of this thesis shows that it is possible to reason with other vehicle behaviour in the decision-making process while approaching a road intersection crossing. While classical methods fail to evaluate the system behaviour, the proposed validation method gives more insights. It will allow to test the system on the real road as well as using more advance data driven methods in the decision-making models.
La navigation pour les véhicules autonomes implique que des décisions soient prises en permanence, sur la base d'une connaissance partielle et incertaine de leur environnement. Ceci est limité par les représentations numériques de l'environnement et par l'incertitude associée au processus de perception. De plus, il est difficile de prédire le comportement des entités perçues, particulièrement aux intersections. Cette thèse propose un processus de prise de décision prenant en compte différents types d'incertitudes, notamment le comportement des conducteurs observés, pour planifier le mouvement du véhicule.Pour comprendre le contexte et les comportements des conducteurs observés, une approche par apprentissage automatique est proposée. Le résultat est utilisé par le processus de prise de décision pour construire une estimation probabiliste de l'environnement. Le mouvement du véhicule est planifié en tenant compte l'effet que celui-ci pourrait avoir lorsque le véhicule interagit avec d'autres entités. Notre approche récompense les actions favorisant l'interaction et réduisant les risques. Le comportement du système est analysé à l'aide d'un ensemble de métriques dérivées de l'analyse du scénario.Pour déduire le contexte routier, des processus gaussiens apprennent des modèles de mouvement à partir de trajectoires simulées, qui incluent l'effet des interactions entre les véhicules. Les modèles sont segmentés en zones et utilisés pour comprendre le comportement d'un véhicule approchant d'une intersection. Ensuite, des forêts d'arbres décisionnels sont appliqués pour estimer la manœuvre du conducteur dans chaque zone. L'ensemble de données utilisé pour l'entrainement est construit à l'aide de données enregistrées lors d'essais sur route et de simulations. Ces classificateurs infèrent les manœuvres latérales et longitudinales en extrayant des caractéristiques des trajectoires du véhicule. Cette approche montre que le contexte routier améliore la classification des manœuvres et qu'en mélangeant quelques trajectoires réelles et simulées, il est possible de différencier les manœuvres de conducteurs arrivant à une intersection.Le processus de prise de décision repose sur un Processus de décision markovien partiellement observable et les résultats de la compréhension de la manœuvre. Ce cadre probabiliste permet de prendre en compte l'incertitude de la perception et du comportement. Ceux-ci sont utilisés pour prédire les conséquences probables des actions des véhicules autonomes sur son environnement immédiat. L’évaluation de toutes les combinaisons d'actions et d'estimations d'état est complexe. Par conséquent, un solveur online est utilisé pour obtenir une approximation de la valeur de chaque action. Elles sont évaluées à l'aide d'un ensemble de récompenses, à savoir : risque de collision, risque comportemental, confort et règles de circulation. Une somme pondérée de fonctions linéaires est utilisée pour équilibrer chaque composant de la fonction de récompense par rapport à la distance du véhicule à l'intersection.Pour valider les performances du système et déterminer les causes d'échec et de succès, des indicateurs de performance associés au scénario sont proposés. Ceux-ci font partie d'une architecture de tests génériques pour la validation de système autonome. Des techniques de simulation ont été utilisées pour évaluer le cadre proposé, pour examiner le plus grand nombre de scénarios et pour être testé sans danger.Le résultat de cette thèse montre qu'il est possible de raisonner avec le comportement d'autres véhicules dans le processus de prise de décision à l'approche d'une intersection. Alors que les méthodes classiques ne permettent pas d’évaluer le comportement du système, la méthode de validation proposée donne davantage d’informations. Cela permettra de tester le système sur la route ouverte et d’analyser plus en profondeur des méthodes basées sur l’intelligence artificielle.
Origine : Version validée par le jury (STAR)