Apport des algorithmes d'apprentissage profond à la caractérisation de la neige en plaine à partir d'images géolocalisées. Correspondance avec l'imagerie radar.

par Pierre Lepetit

Projet de thèse en Météorologie, océanographie, physique de l'environnement

Sous la direction de Laurent Barthes et de Cecile Mallet.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences Mécaniques et Energétiques, Matériaux et Géosciences (Cachan, Val-de-Marne ; 2015-....) , en partenariat avec LATMOS - Laboratoire Atmosphères, Milieux, Observations Spatiales (laboratoire) et de Université de Versailles-Saint-Quentin-en-Yvelines (établissement de préparation de la thèse) depuis le 01-10-2018 .


  • Résumé

    Certains phénomènes météorologiques à enjeu sont encore relativement mal documentés. C'est le cas de la neige en plaine. La description du phénomène comporte non seulement la nature et l'intensité des précipitations, mais aussi l'épaisseur et la qualité de la neige au sol. Ces paramètres sont particulièrement difficiles à prévoir et leur observation en temps réel est encore insuffisante. Ce défaut d'observation tient d'une part au caractère local du phénomène et d'autre part aux limites des moyens de télédétection. En particulier, la discrimination pluie/neige à partir de l'imagerie radar est encore imprécise notamment lorsque la température est proche de 0°C. Dans ce contexte, il peut être envisageable d'utiliser des données issues d'autres réseaux que celui de Météo-France (pseudo observations). Les réseaux sociaux sont de bons candidats parce qu'ils drainent de grandes quantités d'informations sur des phénomènes locaux, en particulier des images. Ces réseaux sont d'ailleurs déjà exploités en météorologie et dans d'autres domaines des géosciences. L'étude que nous proposons vise à analyser les photos issues de ces réseaux (sans qu'une étape de sélection par traitement automatique du langage soit exclue). Dans ce cadre, les réseaux de surveillance vidéo pourraient également être utilisés. Les réseaux de caméras des exploitants routiers, sont particulièrement intéressants du fait de leur densité. Des avancées technologiques récentes dans le domaine de la vision artificielle permettent d'extraire l'information pertinente de façon efficace. En particulier, les méthodes d'apprentissage profond (Deep learning) offrent de nouvelles possibilités en matière de détection d'objet et de segmentation d'image. Nous nous proposons de mettre en œuvre ce type de méthodes pour l'analyse des images tirées des réseaux sociaux ou des réseaux de surveillance. Les informations tirées de ces images seront dans un premier temps confrontées aux techniques d'ingénierie classique afin d'évaluer l'apport réel des méthodes développées. Ces dernières pourraient ensuite être exploitées par Météo France soit directement par le biais d'un produit spécifique, soit être fusionnées avec d'autres observations (données satellites, in-situ ou radar). Le premier objectif de la thèse sera de développer une méthode pour la sélection des sources de pseudo-observations, l'analyse des images et la cartographie du phénomène 'neige en plaine'. L'analyse de l'image portera de façon conjointe sur les dépôts au sol et sur la détection des hydrométéores 'en vol' car les algorithmes mis en oeuvre sont similaires. On précisera quels sont les variables susceptibles d'être estimées, avec quelle incertitude, en mettant l'accent sur les variables pertinentes pour la gestion des risques. La validation des algorithmes développés, notamment le typage des hydrométéores reposera sur les observations disponibles sur le site du SIRTA en région parisienne. En particulier les observations des radars à visée verticale ROXI (bande X) et du radar BASTA (95 GHz], des détecteurs de temps présent et disdromètres, d'un Sky Imager. Cette phase de validation permettra également de mettre en lumière le lien éventuel entre les informations extraites de ces images et la microphysique du milieu, et contribuera ainsi à améliorer le typage des hydrométéores. L'étude pourra ensuite s'intéresser à étendre la validité des algorithmes développés à des zones plus larges (Île de France) grâce aux observations du radar polarimétrique de Trappes situé à une quinzaine de kilomètres du SIRTA et des observations issues des satellites météorologiques. Cette extension pourra par exemple s'appuyer sur la segmentation des images radars et satellites précédemment mentionnées en zones homogènes (régions), l'utilisation d'une ou plusieurs photographies co-localisées à une région pourra permettre sa labellisation automatique. Les programmes (extraction, apprentissage, cartographie, inter validation avec l'imagerie radar) seront pensés de façon à pouvoir être adaptés facilement à des d'autres phénomènes météorologiques, comme les pluies verglaçantes, le brouillard, les orages violents.

  • Titre traduit

    Cotribution of deep learning algorithms to the caracterisation of snow from geolocated images disseminated on the internet: correspondence with radar imagery.


  • Résumé

    Some weather phenomena are still relatively poorly documented. This is the case of snow. The description of the phenomenon includes not only the nature and intensity of precipitation, but also the thickness and quality of the snow on the ground. These parameters are particularly difficult to predict [1] and their observation in real time is still insufficient. This lack of observation is due, on the one hand, to the local character of the phenomenon and, on the other hand, to the limits of remote sensing means. In this context, it may be possible to use data from some networks Social networks are good candidates because they drain large amounts of information about local phenomena, especially images. These networks are already used in meteorology and other areas of geoscience. The study that we propose aims at analyzing the photos coming from these networks. In this context, video surveillance networks could also be used. The camera networks of the road operators are particularly interesting because of their density. Recent technological advances in the field of artificial vision make it possible to extract relevant information in an efficient manner. In particular, deep learning methods offer new possibilities for object detection and image segmentation [8,9]. We propose to implement this type of methods for the analysis of images taken from social networks or surveillance networks. The information drawn from these images will initially be confronted with classical engineering techniques in order to evaluate the real contribution of the developed methods. The latter could then be exploited by Météo France either directly through a specific product or be merged with other observations (satellite, in-situ or radar data). The first objective of the thesis will be to develop a method for the selection of sources of pseudo-observations, the analysis of images and the mapping of the phenomenon 'snow in plain'. The analysis of the image will relate jointly to the deposits on the ground and the detection of hydrometeors 'in flight' because the implemented algorithms are similar. What variables are likely to be estimated, with what uncertainty, with a focus on the variables relevant to risk management? Validation of the algorithms developed, particularly the typing of hydrometeors, will be based on the observations available on the SIRTA site [12] in the Paris region. In particular, the observations of the ROXI (X-band) and the BASTA (95 GHz) radar, sky detectors and disometers of a Sky Imager, will also shed light on the possible link. between the information extracted from these images and the microphysics of the environment, and thus contribute to improving the typing of hydrometeors. The study will then focus on extending the validity of the algorithms developed to wider areas (Île de France) thanks to the observations of the Trappes polarimetric radar located about fifteen kilometers from SIRTA and observations from meteorological satellites. This extension could for example be based on the segmentation of radar and satellite images previously mentioned in homogeneous zones (regions), the use of one or more photographs co-located in a region could allow its automatic labeling.