Intégration de connaissances contextuelles dans des modèles à base d'apprentissage profond pour l'analyse de données visuelles

Integration of contextual knowledge in deep Learning modeling for vision-based scene analysis

• Auteur / Autrice : Fatima Ezzahra Benkirane
• Direction : Vincent Hilaire, Yassine Ruichek
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 16/12/2020
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Connaissance et Intelligence Artificielle Distribuées

Mots clés

Mots clés libres

IA hybride

Systèmes à base de connaissance

Apprentissage profond

Analyse de scènes par vision

Hybrid AI

Knowledge-Based Systems

Deep learning

Visual tasks analysis

Résumé

Le sujet de thèse s'inscrit dans le cadre des travaux de recherche du laboratoire CIAD (Connaissance et Intelligence Artificielle Distribuées) sur la perception de l'environnement pour véhicules intelligents et autonomes, par fusion multi-capteurs. Ces travaux de recherche qui ont débuté depuis plus d'une quinzaine d'années, au travers de nombreux projets régionaux, nationaux et internationaux, se poursuivent actuellement notamment dans le cadre du programme CPER Mobilitech (volet véhicule intelligent et autonome). L'objectif de ce programme est d'identifier les verrous majeurs, puis de proposer des solutions à valeur ajoutée face aux différentes contraintes liées au contexte de l'application. Le laboratoire dispose de nombreuses plateformes expérimentales : véhicules automatisés ou non, équipés de capteurs de perception et de localisation, et d'interfaces de communication. Le véhicule intelligent et autonome constitue de nos jours un des jalons majeurs pour transformer la mobilité des personnes, et ce en améliorant le confort et la sécurité tout en réduisant l'impact sur l'environnement. Le concept du véhicule intelligent et autonome, qui prend de plus en plus d'intérêt au sein des milieux académiques et industriels, repose, notamment, sur le développement de fonctions avancées d'aide à la conduite et/ou de conduite automatisée. Pour ce faire, une étape primordiale doit être mise en œuvre, à savoir la perception de l'environnement du véhicule par le biais de différents capteurs (vidéo, télémétrie, etc.). Cette étape de perception a pour objectif : (i) de cartographier de manière dynamique la scène qui entoure le véhicule, mais également, (ii) d'associer une interprétation sémantique aux différentes composantes de la scène. L'objectif est de segmenter une scène en la décomposant en objets sémantiques (route, véhicule, bâtiment, végétation, véhicule, piéton, signalisation verticale, etc.) et d'extraire des données situationnelles (interprétation, contexte, circonstance, etc.). L'approche proposée consiste à faire coopérer une segmentation intermédiaire de la scène avec un ou plusieurs modèles ontologiques de la même scène. La segmentation intermédiaire peut être obtenue à l'aide de méthodes classiques de traitement d'images ou avec des méthodes plus avancées telles celles issues de l'apprentissage profond. Le processus de coopération peut être considéré à plusieurs niveaux. Le premier niveau consiste, à l'issue du processus de segmentation intermédiaire, à valider et/ou affiner les résultats par le modèle ontologique. Le deuxième niveau de coopération peut se faire au cours du processus de segmentation en intégrant le(s) modèle(s) ontologique(s) dans la stratégie de segmentation.

The PhD subject is part of the research activities of CIAD (Distributed Knowledge and Artificial Intelligence) laboratory on environment perception for intelligent and autonomous vehicles using multi-source data fusion. The research works started 15 years ago in the framework of a number of regional, national and international projects, and they are continuing in the recent Mobilitech program within the CPER (Contrat Plan Etat Region) 2016-2021. The objectives of the program is to identify major locks, and propose value added solutions face to the constraints related to the intelligent and autonomous vehicles topic. The laboratory (CIAD) has developed, thanks to past projects, several experimental platforms, composed of automated and non-automated vehicles equipped with different sensors (for perception and localization) and communication interfaces. Nowadays, intelligent and autonomous vehicles constitute one of the major milestones required to develop new mobility paradigms that improve safety and comfort, while reducing the impact on the environment. The intelligent and autonomous vehicle concept, which sparks more and more interest within academic institutes and automotive companies, requires development of advanced driving assistance functions and advanced automated driving systems with high level of robustness and reliability. To reach this, the first primary task to perform is to perceive the environment of the vehicle through different sensors (video, LIDAR, etc.). The objective of this task is to build a dynamic environment map of the vehicle surrounding, but also associate semantic labels to the different objects of the scene. The objective of the PhD subject is to segment a dynamic scene through a semantic decomposition. This means that each object of the scene should be labeled semantically (road, vehicle, truck, motorcycle, pedestrian, building, vegetation, traffic sign, etc.) and situational data should be extracted (interpretation, context, circumstance, etc.). The proposed approach consists in cooperating an intermediate segmentation of the scene with one or more ontological models of the same scene. The intermediate segmentation could be obtained from classical image processing/classification methods or using advanced techniques such as those belonging to deep learning approach. The cooperative process should be considered at different levels. The first one could be drawn just after the intermediate segmentation. In this case, the ontological model (or models) will contribute by validating and/or refining the intermediate segmentation results. The second cooperative level could be performed during the segmentation process by integrating the ontological model (or models) into the segmentation/classification strategy.