Élasticité des infrastructures HPC conteneurisées : résonance entre le HPC et le Cloud

Elasticity of containerized HPC infrastructures : resonance between HPC and the Cloud

• Auteur / Autrice : Nicolas Greneche
• Direction : Christophe Cérin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/11/2023
• Etablissement(s) : Paris 13
• Ecole(s) doctorale(s) : École doctorale Galilée (Villetaneuse, Seine-Saint-Denis)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Paris Nord (Paris)
• Jury : Président / Présidente : Bruno Raffin
• Jury : Examinateurs / Examinatrices : Bruno Raffin, Roberto Wolfer Calvo, Luciana Arantes, Alba Cristina M. A. Melo
• Jury : Rapporteurs / Rapporteuses : Christian Pérez, Éric Renault

Mots clés

Mots clés contrôlés

Informatique dans les nuages

Conteneurs (informatique)

Ordonnancement (informatique)

Mots clés libres

Hpc

Cloud

Conteneurs

Hpc

Cloud

Containers

Résumé

Le sujet de la thèse «Elasticité des infrastructures HPC conteneurisées : Résonance entre le HPC et le Cloud» évalue l’opportunité d’emprunter certaines propriétés du Cloud pour les transposer dans les environnements HPC. Nous avons commencé par réaliser une preuve de concept en mettant l’ordonnanceur HPC Slurm en conteneurs pour l’instancier sur un Cloud orchestré par Kubernetes. Nous avons testé deux déploiement 1) entièrement sous forme de conteneurs et 2) en hybride comme extension en Cloud d’un cluster HPC physique. Nous avons poursuivi notre travail en formalisant une méthode pour conteneurisé n’importe quel ordonnanceur HPC et lui faire profiter de la propriété de passage à l’échelle dynamique sur une infrastructure Cloud. Nous avons testé cette méthode sur trois ordonnanceurs HPC majeurs : Slurm, OpenPBS et Oar. Enfin, nous avons développé un contrôleur spécialisé pour Kubernetes qui automatise la création de nouveaux nœuds de calcul conteneurisés en fonction de la charge de travaux de l’ordonnanceur. A l’issue de notre travail, nous avons donc réussi à ajouter des propriétés de reproductibilité, cohabitation et passage à l’échelle automatique aux environnements HPC.

The subject of the thesis «Elasticity of containerized HPC infrastructures:Resonance between HPC and the Cloud» assesses the opportunity to borrow some properties of the Cloud to transpose them into HPC environments. We started by doing a proof of concept by containerizing the HPC Slurm scheduler to instantiate it on a Cloud orchestrated by Kubernetes. We tested two deployments 1) totally containerized compute nodes 2) hybrid as a cloud extension of a physical HPC cluster. We kept on working by formalizing a method to containerize any HPC scheduler and make it benefit from the property of dynamic scaling on a Cloud infrastructure. We tested this method on three major HPC schedulers: Slurm, OpenPBS and Oar. Finally, we developed a specialized controller for Kubernetes that automates the creation of new containerized compute nodes based on scheduler workload. At the end of our work, we have therefore succeeded in addingproperties of reproducibility, cohabitation and automatic scaling to HPC environments.