Optimisation de requêtes spatiales et serveur de données distribué - Application à la gestion de masses de données en astronomie

Spatial Query Optimization and Distributed Data Server - Application in the Management of Big Astronomical Surveys

• Auteur / Autrice : Mariem Brahem
• Direction : Karine Bennis-Zeitouni, Laurent Yeh
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 31/01/2019
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Données et algorithmes pour une ville intelligente et durable (Versailles ; 2015-...) - Données et algorithmes pour une ville intelligente et durable - DAVID
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université de Versailles-Saint-Quentin-en-Yvelines (1991-....)
• Jury : Président / Présidente : Bernd Amann
• Jury : Examinateurs / Examinatrices : Karine Bennis-Zeitouni, Laurent Yeh, Bernd Amann, Farouk Toumani, Laurent D'Orazio, Bruno Defude, Véronique Valette
• Jury : Rapporteurs / Rapporteuses : Farouk Toumani, Laurent D'Orazio

Mots clés

Mots clés contrôlés

Algorithmes parallèles

Bases de données

Astronomie

Données massives

Traitement réparti

Mots clés libres

Bases de données astronomiques

Big Data

Optimisation de requêtes

Systèmes distribués

Partitionnement

Spark

Astronomical Databases

Big Data

Query optimization

Distributed systems

Data partitioning

Spark

Résumé

Les masses de données scientifiques générées par les moyens d'observation modernes, dont l’observation spatiale, soulèvent des problèmes de performances récurrents, et ce malgré les avancées des systèmes distribués de gestion de données. Ceci est souvent lié à la complexité des systèmes et des paramètres qui impactent les performances et la difficulté d’adapter les méthodes d’accès au flot de données et de traitement.Cette thèse propose de nouvelles techniques d'optimisations logiques et physiques pour optimiser les plans d'exécution des requêtes astronomiques en utilisant des règles d'optimisation. Ces méthodes sont intégrées dans ASTROIDE, un système distribué pour le traitement de données astronomiques à grande échelle.ASTROIDE allie la scalabilité et l’efficacité en combinant les avantages du traitement distribué en utilisant Spark avec la pertinence d’un optimiseur de requêtes astronomiques.Il permet l'accès aux données à l'aide du langage de requêtes ADQL, couramment utilisé.Il implémente des algorithmes de requêtes astronomiques (cone search, kNN search, cross-match, et kNN join) en exploitant l'organisation physique des données proposée.En effet, ASTROIDE propose une méthode de partitionnement des données permettant un traitement efficace de ces requêtes grâce à l'équilibrage de la répartition des données et à l'élimination des partitions non pertinentes. Ce partitionnement utilise une technique d’indexation adaptée aux données astronomiques, afin de réduire le temps de traitement des requêtes.

The big scientific data generated by modern observation telescopes, raises recurring problems of performances, in spite of the advances in distributed data management systems. The main reasons are the complexity of the systems and the difficulty to adapt the access methods to the data. This thesis proposes new physical and logical optimizations to optimize execution plans of astronomical queries using transformation rules. These methods are integrated in ASTROIDE, a distributed system for large-scale astronomical data processing.ASTROIDE achieves scalability and efficiency by combining the benefits of distributed processing using Spark with the relevance of an astronomical query optimizer.It supports the data access using the query language ADQL that is commonly used.It implements astronomical query algorithms (cone search, kNN search, cross-match, and kNN join) tailored to the proposed physical data organization.Indeed, ASTROIDE offers a data partitioning technique that allows efficient processing of these queries by ensuring load balancing and eliminating irrelevant partitions. This partitioning uses an indexing technique adapted to astronomical data, in order to reduce query processing time.