Optimisation des fonctions d’agrégation définies par l’utilisateur : parallélisation et partage

Optimization of User-Defined Aggregate Functions : Parallization and Sharing

• Auteur / Autrice : Chao Zhang
• Direction : Farouk Toumani, Emmanuel Gangler
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/11/2019
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Examinateurs / Examinatrices : Angela Bonifati, Myoung-Ah Kang
• Jury : Rapporteurs / Rapporteuses : Dimitris Kotzinos, Reza Akbarinia

Mots clés

Mots clés contrôlés

Analyse des données

Mots clés libres

Agrégats partiels

Partial aggregations

Query optimization

Query rewriting

User-defined aggregate functions

MapReduce

Résumé

Les applications des agrégations pour la synthèse d’informations sont significatives dans de nombreux domaines. Les agrégations incorporées par défaut dans les systèmes ne sont pas suffisantes pour satisfaire les besoins qui émergent avec les progrès de l’analyse de données. Les UDAFs (User-Defined Aggregate Functions ou, en français, fonctions d’agrégation définies par l’utilisateur) sont en train de devenir un des opérateurs fondamentaux en analyse de données avancée. Le mécanisme UDAF fourni par la plupart des systèmes modernes souffre cependant d’au moins deux défauts : la définition d’UDAFs nécessite le codage en dur de la routine qui calcule la fonction d’agrégation, et la sémantique des UDAFs est totalement ou partiellement inconnue des processeurs de requêtes, empêchant leur optimisation. Cette thèse présente SUDAF (Sharing User-Defined Aggregate Functions), un cadre framework déclaratif qui permet aux utilisateurs de formuler des UDAFs sous la forme d’expressions mathématiques et de les utiliser dans des déclarations SQL. SUDAF est capable de générer automatiquement des implémentations parallèles efficientes à partir des UDAFs des utilisateurs, et supporte la mise en cache dynamique et la réutilisation des agrégats partiels. Nos expérimentations montrent que la technique de partage proposée permet des gains d’un à deux ordres de magnitude sur les temps d’exécution des requêtes.

Applications of aggregations for information summary have great meanings in variousfields. System built-in aggregations are not sufficient to cover the needs of new applicationsin the age of analytics. UDAFs (user-defined aggregate functions) are becoming atype of fundamental operators in advanced data analytics. The UDAF mechanism providedby most of the modern systems suffers however from at least two severe drawbacks:defining UDAFs requires hardcoding the routine that computes the aggregationfunction, and the semantics of UDAFs is totally or partially unknown to the query processorwhich hampers the optimization possibilities. This thesis presents SUDAF (SharingUser-Defined Aggregate Functions), a declarative framework that allows users toformulate UDAFs as mathematical expressions and use them in SQL statements. SUDAFcomes equipped with the ability to generate efficient parallel implementation from users’UDAFs automatically and supports dynamic caching and reusing of partial aggregates.Our experiments show that the proposed sharing technique can lead from one to twoorders of magnitude improvement in query execution times.