Vers une gestion coopérative des infrastructures virtualisées à large échelle : le cas de l'ordonnancement

Toward cooperative management of large-scale virtualized infrastructures : the case of scheduling

• Auteur / Autrice : Flavien Quesnel
• Direction : Mario Südholt
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 20/02/2013
• Etablissement(s) : Nantes, Ecole des Mines
• Ecole(s) doctorale(s) : Sciences et technologie de l'information et mathématiques
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’Informatique de Nantes Atlantique (UMR 6241) (Nantes) - ASCOLA. ASpect and COmposition LAnguages
• Jury : Président / Présidente : Patrick Martineau
• Jury : Examinateurs / Examinatrices : Jean-Marc Menaud, Christine Morin, Sébastien Goasguen, Adrien Lebre
• Jury : Rapporteurs / Rapporteuses : Frédéric Desprez, Daniel Hagimont

Mots clés

Mots clés contrôlés

Ordonnancement (informatique)

Systèmes virtuels (informatique)

Mots clés libres

Virtualisation

Infrastructures distribuées

Ordonnancement dynamique

Systèmes multi-agents

Gestion événementielle

Systèmes coopératifs

Systèmes autonomes

Passage à l’échelle

Réactivité

Virtualization

Distributed infrastructures

Dynamic scheduling

Multi-agent systems

Event-based systems

Cooperative systems

Autonomous systems

Scalability

Reactivity

Résumé

Les besoins croissants en puissance de calcul sont généralement satisfaits en fédérant de plus en plus d’ordinateurs (ou noeuds) pour former des infrastructures distribuées. La tendance actuelle est d’utiliser la virtualisation système dans ces infrastructures, afin de découpler les logiciels des noeuds sous-jacents en les encapsulant dans des machines virtuelles. Pour gérer efficacement ces infrastructures virtualisées, de nouveaux gestionnaires logiciels ont été mis en place. Ces gestionnaires sont pour la plupart hautement centralisés (les tâches de gestion sont effectuées par un nombre restreint de nœuds dédiés). Cela limite leur capacité à passer à l’échelle, autrement dit à gérer de manière réactive des infrastructures de grande taille, qui sont de plus en plus courantes. Au cours de cette thèse, nous nous sommes intéressés aux façons d’améliorer cet aspect ; l’une d’entre elles consiste à décentraliser le traitement des tâches de gestion, lorsque cela s’avère judicieux. Notre réflexion s’est concentrée plus particulièrement sur l’ordonnancement dynamique des machines virtuelles, pour donner naissance à la proposition DVMS (Distributed Virtual Machine Scheduler). Nous avons mis en œuvre un prototype, que nous avons validé au travers de simulations (notamment via l’outil SimGrid), et d’expériences sur le banc de test Grid’5000. Nous avons pu constater que DVMS se montrait particulièrement réactif pour gérer des infrastructures virtualisées constituées de dizaines de milliers de machines virtuelles réparties sur des milliers de nœuds. Nous nous sommes ensuite penchés sur les perspectives d’extension et d’amélioration de DVMS. L’objectif est de disposer à terme d’un gestionnaire décentralisé complet, objectif qui devrait être atteint au travers de l’initiative Discovery qui fait suite à ces travaux.

The increasing need in computing power has been satisfied by federating more and more computers (called nodes) to build the so-called distributed infrastructures. Over the past few years, system virtualization has been introduced in these infrastructures (the software is decoupled from the hardware by packaging it in virtual machines), which has lead to the development of software managers in charge of operating these virtualized infrastructures. Most of these managers are highly centralized (management tasks are performed by a restricted set of dedicated nodes). As established, this restricts the scalability of managers, in other words their ability to be reactive to manage large-scale infrastructures, that are more and more common. During this Ph.D., we studied how to mitigate these concerns ; one solution is to decentralize the processing of management tasks, when appropriate. Our work focused in particular on the dynamic scheduling of virtual machines, resulting in the DVMS (Distributed Virtual Machine Scheduler) proposal. We implemented a prototype, that was validated by means of simulations (especially with the SimGrid tool) and with experiments on the Grid’5000 test bed. We observed that DVMS was very reactive to schedule tens of thousands of virtual machines distributed over thousands of nodes. We then took an interest in the perspectives to improve and extend DVMS. The final goal is to build a full decentralized manager. This goal should be reached by the Discovery initiative,that will leverage this work.