Optimizing Distributed In-memory Storage Systems˸ Fault-tolerance, Performance, Energy Efficiency

par Mohammed Yacine Taleb

Thèse de doctorat en Informatique

Sous la direction de Gabriel Antoniu et de Toni Cortes.

Soutenue le 02-10-2018

à Rennes, École normale supérieure , dans le cadre de École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes) , en partenariat avec École normale supérieure - Rennes (laboratoire) , Université Bretagne Loire (laboratoire) , Inria Rennes – Bretagne Atlantique (laboratoire) , Institut de Recherche en Informatique et Systèmes Aléatoires (laboratoire) et de Scalable Storage for Clouds and Beyond (laboratoire) .

Le président du jury était Guillaume Pierre.

Le jury était composé de Christian Pérez.

Les rapporteurs étaient Pierre Sens, Maria Perez.

  • Titre traduit

    Optimisation des Systèmes de Stockage en Mémoire ˸ Performance, Efficacité, Durabilité


  • Résumé

    Les technologies émergentes, telles que les objets connectés et les réseaux sociaux sont en train de changer notre manière d’interagir avec autrui. De par leur large adoption, ces technologies génèrent de plus en plus de données. Alors que la gestion de larges volumes de données fut l’un des sujets majeurs de la dernière décennie, un nouveau défi est apparu récemment : comment tirer profit de données générées en temps réel. Avec la croissance des capacités de mémoires vives, plusieurs fournisseurs services, tel que Facebook, déploient des péta-octets de DRAM afin de garantir un temps d’accès rapide aux données. Néanmoins, les mémoires vives sont volatiles, et nécessitent souvent des mécanismes de tolérance aux pannes coûteux en termes de performance. Ceci crée des compromis entre la performance, la tolérance aux pannes et l’efficacité dans les systèmes de stockage basés sur les mémoires vives. Dans cette thèse, nous commençons, d’une part, par étudier ces compromis : nous identifions les facteurs principaux qui impactent la performance, l’efficacité et la tolérance aux pannes dans les systèmes de stockage en mémoire.Ensuite, nous concevons et implémentons un nouveau mécanisme de réplication basé sur l’accès à la mémoire distante (RDMA). Enfin, nous portons cette technique à un nouveau type de système de stockage : les systèmes de stockage pour streaming. Nous concevons et implémentons des mécanismes de réplication et de tolérance aux pannes efficaces et un impact minimal sur les performances sur le stockage pour streaming.


  • Résumé

    Emerging technologies such as connected devices and social networking applications are shaping the way we live, work, and interact with each other. These technologies generate increasingly high volumes of data. Dealing with large volumes of data has been an important focus in the last decade, however, today the challenge has shifted from data volume to velocity: How to store, process, and extract value from data generated With the growing capacity of DRAM, service providers largely rely on DRAM-based storage systems to serve their workloads. Because DRAM is volatile, usually, distributed in-memory storage systems rely on expensive durability mechanisms to persist data.This creates trade-offs between performance, durability and efficiency in in-memory storage systems We first study these trade-offs by means of experimental study. We extract the main factors that impact performance and efficiency in in-memory storage systems. Then, we design and implement a new RDMA-based replication mechanism that greatly improves replication efficiency in in-memory storage systems. Finally, we leverage our techniques and apply them to stream storage systems. We design and implement high-performance replication mechanisms for stream storage, while guaranteeing linearizability and durability.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : École normale supérieure de Rennes (Bruz, Ille-et-Vilaine). Bibliothèque.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.