Compréhension sémantique de scènes tridimensionnelles pour l'accompagnement de la maintenance en milieu ferroviaire.

par Antoine Manier

Projet de thèse en Traitement du signal et des images

Sous la direction de Bertrand Le saux et de Pierre Assali.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec ONERA - Traitement de l'information et systèmes (laboratoire) et de Université Paris-Sud (établissement de préparation de la thèse) depuis le 15-03-2019 .


  • Résumé

    Contexte et cas d'usage La perception de notre environnement amène à modéliser et analyser des informations riches issues de scènes tridimensionnelles (3D). Du fait de capteurs à haute résolution devenus abordables et de l'essor de techniques robustes de traitement (notamment en photogrammétrie), ces informations sont aujourd'hui de plus en plus nombreuses, accessibles, et disponibles dans des domaines applicatifs variés (topographie, aménagement urbain, animation 3D, etc.). Qu'elles soient photogrammétriques ou lasergrammétriques, ces données sont souvent matérialisées par des nuages de points (coordonnées spatiales 3D) pouvant être associés à des attributs radiométriques et/ou relatifs à leurs conditions d'acquisition. Se pose alors le problème de savoir analyser ces nuages de points pour répondre à la question initiale : comment comprendre notre environnement ? Ainsi, de nombreux algorithmes pour la compréhension sémantique des scènes 3D ont vu le jour [1; 2; 6] Ils ont en commun d'utiliser des techniques d'apprentissage machine. La popularisation récente des méthodes d'apprentissage machine pour l'interprétation de données a contribué à de nombreuses applications grand public, allant du démarchage publicitaire ciblé à la conduite routière autonome. Dans l'industrie, on remarque un renforcement progressif de la confiance accordée par les entreprises à ces techniques dans des secteurs critiques (transports, santé, énergies, etc.). Parmi elles, les méthodes à base de réseaux neuronaux ont permis des avancées notables en termes de qualité d'analyse d'environnements 2D et se développent fortement en milieu 3D. Leur emploi, répondant souvent à des problématiques concernant des données complexes, est justifié par des résultats empiriques convaincants. Le domaine de la maintenance ferroviaire s'inscrit depuis peu dans cette démarche d'optimisation par la donnée. SNCF Réseau emploie depuis 2014 des drones pour la captation de données utiles à la maintenance de ses infrastructures et favorise l'emploi de données 3D à cet effet. Cette transformation est motivée par les gestionnaires d'infrastructures et s'inspire de méthodes de maintenance prédictive comme celle du jumeau numérique. Son objectif à long terme est de modéliser l'intégralité du réseau ferré ainsi que son état pour prédire la durée de vie des matériels, les risques potentiels d'exploitation, etc., et ceci afin d'optimiser les efforts de maintenance. La compréhension sémantique autonome des données 3D se présente alors comme une étape de cette dynamique de modernisation de la maintenance. Elle va permettre une simplification des procédés actuels d'analyse des données, et par conséquent une accélération de la transformation de la maintenance. Problématiques Cette thèse proposera une nouvelle approche pour la compréhension des données 3D utiles à la maintenance. Elle aura comme impératifs d'automatiser leur analyse et de répondre à des exigences fortes en termes de qualité des résultats. Dans ce but, plusieurs problématiques seront abordées : 1. Comment sémantiser les données LIDAR 3D de scènes ferroviaires ? La compréhension sémantique de scènes 3D s'impose comme une étape préalable à toute analyse métrique utile à la maintenance. Plusieurs approches de segmentation co-existent tout en présentant des résultats encourageants : des procédés multi-vues hérités de la segmentation 2D [7; 1], des traitements voxéliques [5] ou non structurés [6]. Le développement d'architectures de réseau de neurones adaptées à la segmentation des données LIDAR 3D captées en milieu ferroviaire constituera l'axe principal de la thèse. Dans le cas de données fusionnées, par exemple des nuages de points LIDAR colorisés, les séquences d'images acquises dans ce but offriront une source d'information complémentaire. La robustesse des algorithmes fournis sera en partie évaluée par leur capacité à traiter des données venant de différents vecteurs (drone, hélicoptère, train, etc.). Les résultats attendus de cette première étape d'analyse devront se conformer aux exigences établies par le milieu de la maintenance ferroviaire. 2. Comment employer des informations géométriques déterministes pour améliorer les performances de segmentation ? Confronter les résultats de sémantisation découlant du point 1 à des informations métriques connues peut être un moyen d'en affiner les performances. Dans le cas d'étude, la morphologie des objets cherchés dans les nuages de points est soumise à des standards émis par la SNCF. Cette approche passe par la modélisation numérique 3D de ces standards (par exemple les fils caténaires peuvent être primitivés par des lignes, les balises de contrôle de vitesse par des surfaces planes, etc.), ainsi que leur comparaison aux données acquises sur le terrain. Les méthodes de matching d'objets dans des scènes complexes [3] et de recalage sans a priori sémantique [4] ont fait l'objet de recherches approfondies. Cette problématique vise à régulariser et modéliser les résultats de segmentation du point 1. Elle utilisera à cet effet potentiellement la recherche d'objets 3D dans la scène réduite à ses primitives. 3. Comment détecter et caractériser des changements dans des données temporelles ? La compréhension sémantique des données apportée par le point 1 ainsi que leur modélisation issue du point 2 permettent une analyse qualitative individuelle des objets modélisés. Concrètement, il de vient possible de les détecter et de caractériser leur différence par rapport à des modèles de référence. Cette approche comparative aura pour objectif de s'étendre à l'analyse de données temporelles. Les applications visées sont le suivi du développement de la végétation aux abords des voies ferrées ainsi que l'automatisation de la surveillance des infrastructures – soient l'inspection et la détection robotisées d'effractions. Ces deux applications relèvent de l'analyse de changements à l'échelle des objets. Cette problématique étudiera la dépendance de telles analyses temporelles par rapport aux approches développées dans les points 1 et 2.

  • Titre traduit

    Semantic understanding of 3D scenes for railway maintenance.


  • Résumé

    3D data are now the standard for environment perception, and replace images in various usecases: autonomous cars, urban mapping, forensics. They usually come as point clouds (coordinates in the 3D space) with an associated radiometry. With the uprising of low-cost sensors (Kinect, Iphone-X 3D sensor...) and professional devices (laser scanners) point clouds are commonly used as inputs of algorithms for surface reconstruction, semantic segmentation or 3D graphics. The objective of the thesis project is to design and develop algorithm for classification of 3D data and semantic segmentation of 3D scenes. It will build on convolutional neural networks such as SnapNet, developed at ONERA/DTIS, which are among the best of the state of the art for urban semantic segmentation ([1], Semantic 3D benchmark http://semantic3d.net and robotics (NYUv2 and SUNRGBD benchmarks). Railway maintenance now uses commonly these techniques. SNCF Réseau has been used for more than 4 years UAVs for data acquisition, with embedded LiDARs or photogrammetry devices. This is motivated by a standard usage among infrastructure managers, who try to build a digital twin of the building or site to monitor. SNCF's long term objective is to model digitally the whole rail network along with its current state in order to predict the life expectancy of various objects, potential risks. The semantic understanding of 3D data is then a crucial step of this renewal of maintenance procedures.