Gestion de tâches et de ressources dans les infrastructures HPC-Cloud et Big Data

par Michael Mercier

Projet de thèse en Informatique

Sous la direction de Bruno Raffin et de Olivier Richard.

Thèses en préparation à Grenoble Alpes , dans le cadre de École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble) , en partenariat avec LIG - Laboratoire d'Informatique de Grenoble (laboratoire) et de MESCAL - Middleware efficiently scalable (ancien ID) (equipe de recherche) depuis le 01-12-2015 .


  • Résumé

    La quantité de données produites, dans le monde scientifique comme dans le monde commercial, est en contante augmantation. Cela implique un changement d'échelle pour les processus de collecte, de traitement, et de stockage des données. Le domaine du Big Data a été inventé pour traiter ces problèmes. Mais ce domaine a été inventé par les géants du web et son integration sur des machine de calcul intensif pose de nombreux problèmes. En effet, les gestionnaires de resources utilisé pour soumettre des travaux sur des super calculateurs et les gestionnaires de resources des frameworks Big Data sont très différents et ne fonctionnent pas ensemble. De plus, les outils d'analyse pour le Big Data ne savent pas tirer partie du materiel très haute performance. Le sujet de ma thèse est de trouver la meilleur approche pour faire interagir ces deux gestionnaires de resources et de traiter les différents problèmes soulevés par les mouvement de données et leur ordonancements.

  • Titre traduit

    Resources and task management in HPC, Cloud and Big Data infrastructure


  • Résumé

    The amount of data produced, either in the scientific community and the commercial world, is constantly growing. It means a scale change on the processes of collecting, processing and storing data. The field of Big Data has emerge to handle these problems. Because the first one that has to handle this amount of data are Web scale companies, they made the first big data tools that fits there own infrastructure: big clusters of commodity hardware servers in data centers or for virtual machine in the cloud. But data processing techniques like graph processing, machine learning and data mining, needs also a lot of computation power. High Performance Computer (HPC) infrastructure is made for intensive parallel computation and it is really efficient to do so. Even if Big Data workload are not historically done on this kind of infrastructure it can took great advantage of the power HPC. Lots of company that wants to perform data analytics are switching from classical hardware to HPC. This new confluence the two fields is called High Performance Data Analytics (HPDA) IDC article. In fact, the HPC community is already using Big Data popular tools like Hadoop and Spark. But they are not integrated correctly with Resources and Job Management System (RJMS) that handle the HPC cluster. This works is an attempt to understand how we can leverage HPC cluster with Big Data tools for a cleverer resource utilization: (i) Use the most suitable filesystem, enhance scheduling algorithm to minimize data movement, take advantage of the high performance network, memory and processor, and try to anticipate the impact of Non-Volatile Memories (NVMs) technologies on the previous points. (ii) Maximize cluster utilization with data aware scheduling policies and explore co-scheduling possibilities.