Traitement parallele de requetes relationnelles. Modelisation, optimisation et strategies d'ordonnancement

Exploiting serialized bushy trees for parallel relational query optimization

• Auteur / Autrice : Harald Kosch
• Direction : Lionel Brunie
• Type : Thèse de doctorat
• Discipline(s) : Sciences appliquées
• Date : Soutenance en 1997
• Etablissement(s) : École normale supérieure (Lyon ; 1987-2009)

Résumé

Dans cette these nous introduisons une methodologie d'optimisation de requetes complexes (typiques des applications d'aide a la decision) dans une base de donnees parallele multi-requetes. Cette methodologie originale s'articule sur quatre idees-forces. Premierement, l'introduction d'une nouvelle modelisation du traitement de requetes paralleles (les dpl graphes), plus proche des contextes d'execution reels que les travaux precedents. Deuxiemement, la structuration de l'optimisation de requetes en trois modules via un decouplage entre optimisation inter-operation et optimisation intra-operation. Une strategie randomisee analyse, en parallele, l'espace des parallelisations possibles et determine le degre de parallelisme inter-operation. Un deuxieme module effectue l'allocation de ressources et calcule le degre de parallelisme intra-operation. Celui-ci est base sur une heuristique qui prend en consideration le volume de travail a effectuer ainsi que la charge des machines. Un dernier module determine la meilleure methode d'implementation ainsi que les methodes d'acces aux donnees. Troisiemement, le developpement d'une strategie globale d'optimisation fondee sur l'analyse de l'espace de toutes les parallelisations possibles via l'execution cooperative des trois modules d'optimisation precedents. Enfin, l'introduction d'une nouvelle methodologie de controle du traitement des requetes dans les systemes sans partage (shared nothing systems). Compare aux travaux precedents, notre formalisme offre une methodologie complete pour detecter et corriger les erreurs d'estimation de l'optimisateur statique ou les changements de la charge machine pendant l'execution (probleme typiquement rencontre par les requetes d'execution longue). Des tests de performances sur des machines paralleles (intel ipsc860 et paragon) ont montre l'efficacite et cette methodologie. Un protocole de validation tres complet (schema de bases de donnees integrant 100 relations ; optimisation de 432 requetes aux caracteristiques tres variees) a ete defini et mis en uvre pour verifier la pertinence des methodologies et techniques proposees. Une vaste etude de l'espace de parallelisation a ete menee qui montre l'efficacite du modele propose