Apprentissage profond robuste pour la conduite autonome

Robust deep learning for autonomous driving

• Auteur / Autrice : Charles Corbière
• Direction : Nicolas Thome, Patrick Pérez
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/03/2022
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : Centre d'études et de recherche en informatique et communications (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : Conservatoire national des arts et métiers (France ; 1794-....)
• Jury : Président / Présidente : Florence d' Alché-Buc
• Jury : Examinateurs / Examinatrices : Nicolas Thome, Patrick Pérez, Florence d' Alché-Buc, Stéphane Canu, Graham Taylor, Matthieu Cord, Alex KENDALL
• Jury : Rapporteurs / Rapporteuses : Stéphane Canu, Graham Taylor

Mots clés

Mots clés contrôlés

Transport

Automatisation

Mots clés libres

Conduite autonome

Apprentissage profond

Incertitude

Confiance

Anomalies

Robustesse

Autonomous driving

Deep learning

Uncertainty

Confidence

Anomalis

Robustness

Résumé

Le véhicule autonome est revenu récemment sur le devant de la scène grâce aux avancées fulgurantes de l’intelligence artificielle. Pourtant, la sécurité reste une préoccupation majeure pour le déploiement de ces systèmes dans des environnements à haut risque. Il a été démontré que les réseaux de neurones actuels peinent à identifier correctement leurs erreurs et fournissent des prédictions sur-confiantes, au lieu de s'abstenir, lorsque exposés à des anomalies. Des progrès sur ces questions sont essentiels pour obtenir la certification des régulateurs mais aussi pour susciter l'enthousiasme des utilisateurs.L'objectif de cette thèse est de développer des outils méthodologiques permettant de fournir des estimations d'incertitudes fiables pour les réseaux de neurones profonds. En particulier, nous visons à améliorer la détection des prédictions erronées et des anomalies lors de l'inférence. Tout d'abord, nous introduisons un nouveau critère pour estimer la confiance d'un modèle dans sa prédiction : la probabilité de la vraie classe (TCP). Nous montrons que TCP offre de meilleures propriétés que les mesures d'incertitudes actuelles pour la prédiction d'erreurs. La vraie classe étant, par essence, inconnue à l'inférence, nous proposons d'apprendre TCP avec un modèle auxiliaire (ConfidNet), introduisant un schéma d'apprentissage spécifique adapté à ce contexte. La qualité de l'approche proposée est validée sur des jeux de données de classification d'images et de segmentation sémantique., démontrant une supériorité par rapport aux méthodes de quantification incertitude utilisées pour la prédiction de d'erreurs.Ensuite, nous étendons notre approche d'apprentissage de confiance à la tâche d'adaptation de domaine. Une stratégie populaire, l'auto-apprentissage, repose sur la sélection de prédictions sur données non étiquetées puis le réentraînement d'un modèle avec ces pseudo-étiquettes. Appelée ConDA, l'adaptation proposée améliore la sélection de pseudo-labels grâce à des meilleures estimations de confiance. Afin de relever le défi de l'adaptation de domaine, nous avons équipé le modèle auxiliaire d'une architecture multi-échelle et complété la fonction de perte par un schéma d'apprentissage contrastif afin de renforcer l'alignement entre les cartes de confiance des domaines source et cible.Enfin, nous considérons la présence d'anomalies et nous attaquons au défi pratique de la détection conjointe des erreurs de classification et des échantillons hors distribution. A cette fin, nous introduisons KLoS, une mesure d'incertitude définie sur le simplexe et basée sur des modèles évidentiels. En conservant l'ensemble des informations de distribution, KLoS capture à la fois l'incertitude due à la confusion de classe et au manque de connaissance du modèle, cette dernière type d'incertitude étant liée aux échantillons hors distribution. En utilisant ici aussi un modèle auxiliaire avec apprentissage de confiance, nous améliorons les performances sur divers ensembles de données de classification d'images.

Last decade's research in artificial intelligence and hardware development had a significant impact on the advance of autonomous driving. Yet, safety remains a major concern when it comes to deploying such systems in high-risk environments. Modern neural networks have been shown to struggle to correctly identify their mistakes and to provide over-confident predictions instead of abstaining when exposed to unseen situations. Progress on these issues is crucial to achieve certification from transportation authorities but also to arouse enthusiasm from users.The objective of this thesis is to develop methodological tools which provide reliable uncertainty estimates for deep neural networks. In particular, we aim to improve the detection of erroneous predictions and anomalies in test time.First, we introduce a novel target criterion for model confidence, the true class probability (TCP). We show that TCP offers better properties than current uncertainty measures for the task of failure prediction. Since the true class is by essence unknown at test time, we propose to learn TCP criterion from data with an auxiliary model (ConfidNet), introducing a specific learning scheme adapted to this context. The relevance of the proposed approach is validated on image classification and semantic segmentation datasets, demonstrating superiority with respect to strong uncertainty quantification baselines on failure prediction.Then, we extend our learned confidence approach to the task of domain adaptation for semantic segmentation. A popular strategy, self-training, relies on selecting predictions on the unlabeled data and re-training a model with these pseudo-labels. Termed ConDA, the proposed adaptation improves self-training methods by providing effective confidence estimates used to select pseudo-labels. To meet the challenge of domain adaptation, we equipped the auxiliary model with a multi-scale confidence architecture and supplemented the confidence loss with an adversarial training scheme to enforce alignment between confidence maps in source and target domain.Finally, we consider the presence of anomalies and we tackle the ultimate practical objective of jointly detecting misclassification and out-of-distributions samples. To this end, we introduce KLoS, a uncertainty measure based on evidential models and defined on the class-probability simplex. By keeping the full distributional information, KLoS captures both uncertainty due to class confusion and lack of knowledge, which is related to out-of-distribution samples. We further improve performances across various image classification datasets by using an auxiliary model with a learned confidence approach.