Développement d'un cadre générique pour surveiller et gérer la sécurité des systèmes autonomes pendant l'exécution

Runtime safety monitoring of ML-based perception functions in autonomous systems

• Auteur / Autrice : Raul Sena Ferreira
• Direction : Jérémie Guiochet, Hélène Waeselynck
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/05/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Analyse et d'Architecture des Systèmes (Toulouse ; 1968-....)
• Jury : Président / Présidente : Frédéric Lerasle
• Jury : Examinateurs / Examinatrices : Simon Burton
• Jury : Rapporteurs / Rapporteuses : Andrea Bondavalli, Chokri Mraidha

Mots clés

Mots clés contrôlés

Apprentissage automatique

Dispositifs de sécurité

Véhicules autonomes

Systèmes informatiques -- Mesures de sûreté

Mots clés libres

Sûreté de fonctionnement

Informatique

Génie logiciel

Machine learning

Dependability

Software Engineering

Computer Science

Machine learning

Résumé

Les classificateurs d'images d'apprentissage automatique (ML) de haute précision ne peuvent garantir qu'ils n'échouera pas à l'opération. Ainsi, leur déploiement dans des applications critiques pour la sécurité telles que véhicules autonomes est encore une question ouverte. L'utilisation de mécanismes de tolérance aux pannes tels que moniteurs de sécurité (SM) est une direction prometteuse pour maintenir le système dans un état sûr malgré les erreurs de le classificateur ML. Comme la prédiction du ML est l'information de base ayant un impact direct sur la sécurité, de nombreux travaux se concentrent sur la surveillance du modèle ML lui-même. Cette thèse porte sur de telles approches en couvrant tous les aspects nécessaires pour construire, tester et évaluer le SM en perception fonctions construites avec ML, qui peuvent être résumées comme suit : 1) Une littérature abondante revue dans laquelle nous introduisons une nouvelle taxonomie de la littérature existante concernant la menace l'identification, l'élicitation des exigences, la détection des défaillances et des réactions, et l'évaluation. 2) Un nouveau cadre de référence pour l'analyse comparative de ces SM, couvrant l'ensemble du pipeline, à partir de données génération à l'évaluation. 3) Un test de simulation évolutive de la perception critique pour la sécurité systèmes, qui est capable de diminuer, au moins 10 fois, le temps nécessaire pour trouver un ensemble de risques dans des scénarios critiques pour la sécurité tels que la simulation d'un système de freinage d'urgence autonome. 4) Une nouvelle approche SM hybride pour la surveillance de la sécurité des classificateurs ML.

High-accurate machine learning (ML) image classifiers cannot guarantee that they will not fail at operation. Thus, their deployment in safety-critical applications such as autonomous vehicles is still an open issue. The use of fault tolerance mechanisms such as safety monitors (SM) is a promising direction to keep the system in a safe state despite errors of the ML classifier. As the prediction from the ML is the core information directly impacting safety, many works are focusing on monitoring the ML model itself. This thesis focuses on such approaches by covering all necessary aspects to build, test, and evaluate SM in perception functions built with ML, which can be summarized into the following: 1) An extensive literature review in which we introduce a new taxonomy of the existing literature regarding threat identification, requirements elicitation, detection of failure and reaction, and evaluation. 2) A new baseline framework for benchmarking such SM, covering the entire pipeline, from data generation to evaluation. 3) An evolutionary simulation testing of safety-critical perception systems, which is capable of decreasing, at least 10 times, the amount of time to find a set of hazards in safety-critical scenarios such as autonomous emergency braking system simulation. 4) A new hybrid SM approach for safety monitoring of ML classifiers.