Détection d'Anomalies dans les Séries Temporelles de Grande Dimension sur des Domaines Hétérogènes

High-Dimensional Time Series Anomaly Detection over Heterogeneous Domains

• Auteur / Autrice : Vincent Jacob
• Direction : Yanlei Diao
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Informatique
• Date : Soutenance le 26/09/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'École polytechnique (Palaiseau ; 1988-....) - Laboratoire d'informatique de l'École polytechnique [Palaiseau] / LIX
• Jury : Président / Présidente : Jesse Read
• Jury : Examinateurs / Examinatrices : Yanlei Diao, Laure Berti-Équille, Thorsten Papenbrock, Madalina Fiterau, Themis Palpanas
• Jury : Rapporteurs / Rapporteuses : Laure Berti-Équille, Thorsten Papenbrock

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage automatique

Séries chronologiques

Mots clés libres

Détection d'anomalie

Séries Temporelles

Généralisation de domaine

Apprentissage automatique

Apprentissage profond

Anomaly detection

Time Series

Domain generalization

Machine learning

Deep learning

Résumé

L'adoption généralisée des services numériques, ainsi que l'échelle et la complexité de leur fonctionnement, ont rendu les incidents dans les opérations informatiques de plus en plus probables, diversifiés et impactants pour les entreprises de logiciels, créant ainsi le besoin de solutions automatisées pour les prévenir. Pour répondre à ce besoin, cette thèse se concentre sur le problème de la détection d'anomalies dans les séries temporelles de grande dimension, dans le cadre du domaine émergent de l'''Intelligence Artificielle pour les Opérations Informatiques'' (AIOps).Cette thèse propose tout d'abord de nouveaux outils de benchmarking pour la détection d'anomalies explicable dans des séries temporelles de grande dimension. L'outil principal est le benchmark Exathlon, comprenant (i) un jeu de données annoté provenant de la surveillance d'applications Spark Streaming, (ii) une méthodologie d'évaluation flexible de la performance des méthodes de détection d'anomalies (AD) et de ''découverte d'explications'' (ED), et (iii) une pipeline complète de détection d'anomalies explicable pour faciliter la création et l'évaluation de méthodes.Le reste de cette thèse se concentre sur la composante ''détection d'anomalies'' d'Exathlon, proposant ensuite une analyse de benchmark approfondie de méthodes non supervisées représentatives. Notre étude révèle une performance limitée des méthodes comparées pour résoudre notre benchmark. Dans l'ensemble, toutes les méthodes ont montré trois limitations principales, avec un impact décroissant sur la performance : (L1) une vulnérabilité au changement de comportement normal entre les données d'entraînement et de test, (L2) une production de faux négatifs pour les anomalies les plus complexes étant donné notre grand nombre de features, et (L3) une production de faux positifs pour les motifs de ''bruit'' normaux mais minoritaires dans les données de test.La partie suivante traite explicitement de L1 avec une nouvelle méthode de généralisation de domaine pour la détection d'anomalies non supervisée appelée Domain-Invariant VAE for Anomaly Detection (DIVAD), définissant les différents contextes de fonctionnement normal comme des ''domaines hétérogènes'', et associant le changement de comportement normal au concept de ''changement de domaine''. DIVAD s'appuie sur le ''feature disentanglement'' pour décomposer la variable observée en encodages ''spécifique au domaine'' et ''invariant au domaine'', et définit les anomalies de test comme les observations déviant de la distribution d'entraînement des encodages invariants au domaine uniquement. Nos expériences montrent que DIVAD est particulièrement efficace pour traiter la limitation L1 de nos méthodes de référence, améliorant ainsi leur performance de jusqu'à 20%. Nous soulignons également l'applicabilité de notre méthode au-delà des données d'Exathlon, en l'évaluant sur le jeu de données ''Application Server Dataset'', et montrant qu'elle surpasse la meilleure méthode de référence en score F1 maximal pour 92% des cas de test.Malgré le succès de DIVAD pour traiter L1, cette méthode n'a pas été conçue pour s'attaquer aux limitations restantes L2 et L3. Pour traiter conjointement ces trois limitations, cette thèse propose enfin de nouvelles méthodes contrastives dans un cadre faiblement supervisé. La méthode principale est ''Contrastive Encoder for Anomaly Detection with a Few Anomaly Labels'' (CEADAL), s'appuyant sur la perte contrastive pour construire une projection latente dans laquelle les données normales sont regroupées dans une région restreinte, éloignée des anomalies, et définissant les anomalies de test comme les observations déviant de la distribution d'entraînement des observations normales latentes. Nous évaluons CEADAL sur Exathlon, et montrons son efficacité pour traiter nos limitations L1-3, atteignant ainsi les scores F1 maximal et médian les plus élevés parmi toutes les méthodes comparées.

The widespread adoption of digital services, along with the scale and complexity at which they operate, has made incidents in IT operations increasingly likely, diverse and impactful for software companies, creating the need for automated methods to prevent them. To respond to such needs, this thesis focuses on the problem of anomaly detection in high-dimensional time series, within the emerging field of ''Artificial Intelligence for IT Operations'' (AIOps).This thesis starts by contributing new benchmarking tools for explainable anomaly detection in high-dimensional time series. The main tool is the Exathlon benchmark, consisting of (i) a labeled dataset centered around a Spark Streaming application monitoring use case, (ii) a flexible evaluation methodology to assess the performance of anomaly detection (AD) and explanation discovery (ED) methods, and (iii) an end-to-end explainable anomaly detection pipeline to facilitate method building and benchmarking.The rest of this thesis focuses on the AD component of Exathlon, next contributing an in-depth benchmarking analysis of representative unsupervised methods. Our study reveals the limited performance of the methods compared in solving our benchmark. Overall, all methods displayed three main limitations, with a decreasing impact on the performance: (L1) a vulnerability to normal behavior shift from the training to the test data, (L2) a production of false negatives for the hardest anomalies given our large number of features, and (L3) a production of false positives for normal but ''noisy'', minority patterns in test data.The next part explicitly addresses L1 with a new domain generalization method for unsupervised anomaly detection called Domain-Invariant VAE for Anomaly Detection (DIVAD), defining the different contexts of normal operation as ''heterogeneous domains'', and associating normal behavior shift to the concept of ''domain shift''. DIVAD relies on feature disentanglement to decompose the observed variable into domain-specific and domain-invariant encodings, and defines test anomalies as samples that deviate from the training distribution of domain-invariant encodings only. Our experiments show that DIVAD is particularly effective in addressing the limitation L1 of our unsupervised baselines, thus improving their AD performance by up to 20%. We also highlight our method's broader applicability beyond Exathlon's data, evaluating it on the Application Server Dataset, and showing that it outperforms the best unsupervised baseline in maximum peak F1-score for 92% of the test cases.Despite DIVAD's ability to address L1, this method was not designed to tackle the remaining limitations L2 and L3. To jointly address all three limitations, this thesis finally contributes new contrastive methods in a weakly-supervised setting. The main method is Contrastive Encoder for Anomaly Detection with a Few Anomaly Labels (CEADAL), relying on the contrastive loss to construct a latent mapping where normal samples are grouped within a tight region, away from the anomalies, and defining test anomalies as samples that deviate from the training distribution of normal latent samples. We evaluate CEADAL against Exathlon, and show its effectiveness in addressing our limitations L1-3, thus achieving the highest maximum and median peak F1-scores across all the methods compared.