Apprentissage profond robuste et multimodal pour la conduite autonome

par Charles CorbiÉRe

Projet de thèse en Informatique

Sous la direction de Nicolas Thome et de Patrick Pérez.

Thèses en préparation à Paris, HESAM , dans le cadre de École doctorale Sciences des métiers de l'ingénieur (Paris) , en partenariat avec Centre d'études et de recherche en informatique et communications (Paris) (laboratoire) et de MSDMA - Méthodes Statistiques de Data-Mining et Apprentissage (equipe de recherche) depuis le 01-01-2019 .


  • Résumé

    Ces dernières années ont vu les méthodes d'apprentissage profond connaître un large adoption, notamment depuis l'écrasante victoire d'un réseau de neurones convolutifs en 2012 au Large Scale Visual Recognition Challenge (LSVRC). Aujourd'hui, la quasi-totalité des recherches et des technologies pour l'analyse d'images et de vidéos est basée sur des réseaux convolutifs toujours plus profonds. En dépit du succès croissant de ces méthodes, en particulier pour l'analyse des données complexes relatives à la conduite autonome, de nombreuses questions restent ouvertes pour que Valeo et les autres acteurs du domaine puissent déployer des systèmes de délégation et d'automatisation de la conduite. Nombre d'entre elles ont trait à la performance, la fiabilité, la prévisibilité et l'interprétabilité de la chaîne complète, allant des capteurs aux commandes, ainsi que de ses composants individuels. Des avancées sur ces questions sont cruciales afin d'obtenir la certification par le régulateur des systèmes décisionnels embarqués, mais également pour susciter l'indispensable adhésion des usagers. Cette thèse explorera différentes façons d'évaluer et améliorer la robustesse de l'analyse de données multi-modales au cœur des systèmes de conduite autonome. Nous aborderons cette question autour des trois verrous méthodologiques suivants : — Incertitude décisionnelle pour l'apprentissage profond ; — Stabilité des réseaux convolutifs profonds ; — Apprentissage profond sur données hétérogènes et multi-modales. Sur le plan applicatif, la mise en place de mesures fiables d'incertitude ou de stabilité décisionnelle revêt des enjeux cruciaux dans le domaine de la conduite autonome, permettant par exemple de rendre la main à l'usager humain pour la prise de décision et la commande, ou d'assurer la robustesse à des attaques adverses.

  • Titre traduit

    Robust and multimodal deep learning for autonomous driving


  • Résumé

    Over the past several years, deep learning methods have been experiencing a wide adoption, especially since the stunning victory of a convolutional networks in 2012 at the Large Scale Visual Recognition Challenge (LSVRC). Nowadays, most of research works and technology for image and videos analysis has been based on even deeper convolutional networks. Despite their growing success, particularly in complex data analysis for autonomous driving, many questions remain open in order to enable Valeo and other actors in the field to deploy shared-driving and driving automation control systems. A lot of them are related to accuracy, reliability, predictability and interpretability of the complete chain, from sensors to controllers, as well as their individual components. Progress on these issues is crucial to achieve certification from transportation authorities but also to arouse enthousiasme from users. This thesis will explore different paths to evaluate and improve robustness of multimodal data analysis in autonomous driving systems. We will address this issue around the following three methodological locks : - Decision uncertainty for deep learning ; - Stability of deep convolutional networks ; - Deep Learning on heterogeneous and multimodal data. On the application level, the implementation of reliable uncertainty measures or stability measures is a crucial importance for decision-making in the field of autonomous driving, enabling for instance to give back control to the human user over for decision-making, or to ensure robustness to adverse attacks.