Development of a computing farm with Cloud Computing on GPU
Développement d'une ferme informatique utilisant le Cloud Computing sur GPU
Résumé
All the work in this thesis has been developed in the context of the Cherenkov Telescope Array (CTA), which is going to be the major next-generation observatory for ground-based very-high-energy gamma-ray astronomy. The plan for this work is to use GPUs and Cloud Computing in order to speed up the computing demanding tasks, developing and optimizing data analysis pipelines.The thesis consists on two main parts: the first one is dedicated to the estimation of the future performances of CTA towards the observation of violent phenomena such as those generating Gamma Ray Bursts and Gravitational Waves, with a initial work done for the creation of the models for the First CTA Data Challenge. The second part of the thesis is related to the development of the pipelines for the reconstruction of the low-level data coming from the Monte Carlo simulations using the software library called ctapipe.In chapter 1 I go into the details of the CTA project, the telescopes and the performances of the array, together with the methods used to derive them from Monte Carlo simulations. The science goals of CTA and the Key Science Projects (KSPs) will be covered in chapter 2, with a focus on Gamma Ray Bursts and the follow-up of Gravitational Waves events.The work done for the First CTA Data Challenge (DC-1) is presented in chapter 3. More than 500 extragalactic sources have been modelled combining informations from different catalogues in order to create a population of AGNs. This Challenge has been important both to involve more people in the analysis of CTA data and to compute the observation time needed by the different KSP. The simulations for the gravitational waves and gamma-ray bursts Consortium papers have been created with the ctools_pipe pipeline (presented in chapter 4), implemented around the libraries ctools and gammalib. The pipeline is composed of two main parts: the task to be executed (background simulation, model creation and detection) and in which computing centre.The second part of the thesis is focused on the development and optimization of the analysis pipelines to be used for the event reconstruction of simulated raw data and for the visualization of the events in a 3D space. This analyses have been performed using ctapipe, a framework for prototyping the low-level data processing algorithms for CTA. The structure of the library is presented in chapter 5 together a focus on the reconstruction methods that are implemented in ctapipe, including the so called ImPACT. This method uses a template of images created from the Monte Carlo simulations and a seed from the standard reconstruction method to fit between the templates to find a better estimation of the shower parameters. The time profiling and the strategies adopted to optimize the ImPACT pipeline are presented in chapter 6. The implementation of the a pipeline for the analysis of the Large Size Telescope observing in monoscopic mode and its GPU implementation with PyTorch is also presented. ctapipe has also been used and developed to estimate the performances of CTA when observing using the “divergent pointing” mode, in which the pointing directions are slightly different with respect to the parallel pointing mode, so that the final hyper field-of-view of all the telescopes is larger with respect to the parallel pointing mode. The angular and energy resolutions and also the sensitivity are worse in this scenario, but having a wider hyper field-of-view can be good for other topics, such are searching for transient sources. The modifications to the reconstruction code introduced in ctapipe and some angular resolution plots for the simulated point source gammas are presented in chapter 7.The results presented in this thesis are a demonstration of the usage of advanced software techniques in very high energy astrophysics.
Tous les travaux de cette thèse ont été développés dans le contexte du Cherenkov Telescope Array (CTA), qui sera le principal observatoire de la prochaine génération pour l'astronomie gamma à très haute énergie au sol. Le plan de ce travail est d'utiliser les GPU et le Cloud Computing afin d'accélérer les tâches de calcul exigeantes, en développant et en optimisant les pipelines d'analyse de données.La thèse se compose de deux parties: la première est destinée à l'estimation des performances du CTA pour l'observation de phénomènes violents tels que ceux générant des sursauts de rayons gamma (GRB) et des ondes gravitationnelles, avec un premier travail effectué pour la création des modèles pour le premier CTA Data Challenge (DC1). La deuxième partie de la thèse est liée au développement des pipelines pour la reconstruction des données de bas niveau provenant des simulations de Monte Carlo.Dans le chapitre 1, je présente les détails du projet CTA, les télescopes et les performances du réseau, ainsi que les méthodes utilisées pour les dériver des simulations de Monte Carlo. Les objectifs scientifiques du CTA et les Key Science Projects (KSP) seront couverts dans le chapitre 2, avec un accent sur les GRB et le suivi des événements liés aux ondes gravitationnelles.Plus de 500 AGNs ont été modélisées pour le DC1, qui a été important à la fois pour impliquer davantage de personnes dans l'analyse des données du CTA et pour calculer le temps d'observation nécessaire aux différents KSP. Les simulations pour les papier du Consortium sur les ondes gravitationnelles et les sursauts gamma ont été créés avec le pipeline ctools_pipe (présenté au chapitre 4), mis en œuvre autour des bibliothèques ctools et gammalib. Le pipeline est composé de deux parties: la tâche à exécuter (simulation de fond, création de modèle et la partie qui effectue la détection) et dans quel centre de calcul.La deuxième partie de la thèse est axée sur le développement et l'optimisation des pipelines d'analyse à utiliser pour la reconstruction d'événements à partir de données brutes simulées et pour la visualisation des événements dans un espace 3D. Ces analyses ont été réalisées à l'aide de ctapipe, un framework pour le prototypage des algorithmes de traitement de données de bas niveau pour CTA. La structure de la bibliothèque est présentée dans le chapitre 5, avec un accent particulier sur les méthodes de reconstruction qui sont mises en œuvre dans ctapipe, y compris le système ImPACT. Cette méthode utilise un modèle d'images créé à partir des simulations de Monte Carlo et une "seed" de la méthode de reconstruction standard pour s'adapter entre les modèles afin de trouver une meilleure estimation des paramètres de la gerbe atmosphérique. Le profilage temporel et les stratégies adoptées pour optimiser le pipeline ImPACT sont présentés au chapitre 6. L'implémentation d'un pipeline pour l'analyse de l'observation du Large Size Telescope en mode monoscopique et son implémentation GPU avec PyTorch est également présentée. ctapipe a également été utilisé et développé pour estimer les performances du CTA lors d'observations en mode "pointage divergent", dans lequel les directions de pointage sont légèrement différentes par rapport au mode de pointage parallèle, de sorte que l'hyper champ de vision final de tous les télescopes est plus grand par rapport au mode de pointage parallèle. Les résolutions angulaires et énergétiques ainsi que la sensibilité sont moins bonnes dans ce scénario, mais le fait d'avoir un hyper field-of-view plus large peut être bénéfique pour d'autres sujets, comme la recherche de sources transitoires. Les modifications du code de reconstruction introduites dans ctapipe et certains tracés de résolution angulaire pour les gammas de source ponctuelle simulés sont présentés au chapitre 7.Les résultats présentés dans cette thèse sont une démonstration de l'utilisation de techniques logicielles avancées en astrophysique de très haute énergie.
Origine : Version validée par le jury (STAR)