Stockage massif pour le HPC par l'utilisation de storage blobs

par Fotios Nikolaidis (Fotis)

Projet de thèse en Informatique

Sous la direction de William Jalby et de Soraya Zertal.

Thèses en préparation à Paris Saclay , dans le cadre de Sciences et Technologies de l'Information et de la Communication , en partenariat avec LI-PaRAD - Laboratoire d'Informatique - Parallélisme Réseaux Algorithmes Distribués (laboratoire) et de université de Versailles-Saint-Quentin-en-Yvelines (établissement de préparation de la thèse) depuis le 01-05-2016 .


  • Résumé

    Les nouvelles technologies de stockage de données (en particulier le cloud) ont introduit l'utilisation d'objets de stockage faiblement typés et indépendants les uns des autres, habituellement désignés sous le terme de 'storage blobs'. La présente thèse se propose d'utiliser cette approche dans le but de construire des solutions de stockage de l'ordre de l'exaoctet voire du yottaoctets (horizon 2020) tout en conservant la scalabilité. Dans le contexte du stockage de masse, on se focalisera sur les technologies issues du stockage sur le nuage (Amazon, Google, …) et les APIs disponibles pour accéder au systèmes de stockage distants. Le but étant de construire des “storage blobs” résidants dans le nuage et servant comme replicats au stockage local. Ce travail inclue une étude des technologies existantes et de leur adaptation éventuelle pour construire une nouvelle solution spécifique au HPC qui necéssite d'adresser de nombreux objets sous forme associative mais avec des contraintes lâches. Des cas pratiques de storage blobs (en lien avec des systèmes de fichiers distribués, en remplacement d'un gestionnaire de backup ou en lieu et place d'un HSM) seront en particulier étudiés tels que les solutions propres à Hadoop et NOSQL. Par la suite, un format propre au blob sera établi, il permettra la conservation sur des supports hétérogènes (disques rotatifs, SSD, NVRAM, bandes magnétiques, clouds...) et garantira la duplication et la réplication. Les résultats de ce travail auront un impact direct sur l'architecture du centre de données du CEA

  • Titre traduit

    Storage blobs for HPC storage


  • Résumé

    Recent technologies (such as Cloud Storage) introduce new paradigms like storage objects. In particular, the idea of 'storage blobs' came from there. A storage blob is a bag of bytes, with a weak type and full independence with other object of the same type. Storage blobs will apply this model to HPC in order to build massive and scalable architecture, up to exabytes or yottabytes (in 2020). Inside BigStorage, the study will focus on technologies offered by storage clouds (Amazon, Google, …) and the available APIs to access such remote storage. The goal here is to build storage blobs residing inside the Cloud Storage, as replicas to local storage blobs. Existing solutions will be studied and eventually adapted to fit HPC environment. In practical situation, blobs will be used jointly with a distributed File Systems. Results of this study will have direct impact of CEA's tomorrow's data center architecture