Traitement de Données par Flux et par Lot sous Stéroïdes : Optimisation du Pipeline de Traitement des Données, du Noyau à l'Intergiciel

Data streaming and Batch Processing on Stamina: Optimizing the data processing path from the Kernel to the Middleware

• Auteur / Autrice : Killian Castillon du perron
• Direction : Fabrice Huet, DINO Lopez Pacheco
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/11/2021
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : I3S - Informatique, Signaux et Systèmes de Sophia-Antipolis

Mots clés

Mots clés libres

Intergiciel

Sdn

Traitement de données

Middleware

Sdn

Data processing

Résumé

La quantité toujours croissante de données numériques produites chaque année nécessite des pipelines de traitement de données optimisés. De nombreux outils open source ont été imaginés et optimisés en permanence pour faire face à cette avalanche de données. On peut citer Storm et Flink pour le traitement de flux ou Spark pour le traitement par lots. Alors que d'énormes efforts ont été déployés pour améliorer les performances de ces outils par la communauté, nous identifions deux limitations clés de ces outils. Premièrement, si ces outils offrent une grande liberté dans leur configuration initiale, leur reconfiguration dynamique est en général limitée. Deuxièmement, un certain nombre d'optimisations pour augmenter l'évolutivité et la reconfigurabilité du middleware ont été développées et injectées directement au niveau du middleware, ignorant les mécanismes déjà présentés au niveau des couches inférieures. C'est le cas de l'équilibrage de charge et de la mise à l'échelle des fonctions sans état. De tels mécanismes existent déjà au niveau de la couche inférieure, par ex. Kubernetes ou Docker Swarm. Le point de départ de cette thèse est l'existence de plusieurs intergiciels qui peuvent être empilés lors du déploiement d'un pipeline de streaming de données : ce que l'on peut appeler un intergiciel applicatif (par exemple Storm) et un intergiciel système comme Kubernetes pour déployer des micro-services conteneurisés. À partir de l'intergiciel applicatif, avec une approche descendante, nous identifierons les fonctions disponibles au niveau du intergiciel système et du noyau pour évaluer la possibilité de décharger les couches supérieures de certaines fonctions qui pourraient être effectuées plus efficacement aux couches inférieures. De manière plus ambitieuse, nous visons à étendre les capacités actuelles du noyau avec de nouvelles fonctions qui répondent mieux aux besoins des intergiciels applicatif. Cela nécessitera à l'inverse d'introduire une interface claire entre l'Application, les Intergiciels et les OS, tout en préservant une architecture modulaire.

The ever increasing amount of numerical data produced each year calls for optimized data processing pipelines. A number of open source tools have been devised and are continuously optimized so as to keep up with this avalanche of data. One can cite Storm and Flink for stream processing or Spark for batch processing. While huge efforts have been put to improve the performance of those tools by the research community, we identify two key fundamental limitations of those tools. First, while those tools offer a wide freedom in their initial configuration, their dynamic reconfiguration is in general limited. Second, a number of optimizations to increase the scalability and reconfigurability of the middleware have been developed and injected directly at the middleware level, ignoring the mechanisms already presented at the lower layers. This is the case of load balancing and scaling of stateless functions. Such mechanisms are already existing at the lower layer, e.g. Kubernetes or Docker Swarm. The starting point in this thesis is the existence of several middlewares that can be stacked when deploying a data streaming pipeline: what can be called an Application Middleware (e.g. Storm) and a System Middleware like Kubernetes to deploy containerized micro-services. Starting from the Application middleware, with a top-down approach, we will identify functions that are available at the System middleware and at the kernel level to assess the possibility of offloading from the upper layers some functions that could be more efficiently done at lower layers. More ambitiously, we aim at extending the current kernel capabilities with new functions that better fit the need of application middlewares. This will conversely require to introduce a clear interface between the Application, the System Middlewares and the OSs, while preserving a modular architecture.