Statistical analysis of network traffic for anomaly detection and quality of service provisioning

par Pedro Casas Hernandez

Thèse de doctorat en Informatique

Sous la direction de Gerardo Rubino.

  • Titre traduit

    Analyse statistique de trafic pour la détection d'anomalies et la qualité de service


  • Résumé

    Traditionnellement, la gestion du trafic en cœur de réseau repose sur le surdimensionnement pour simplifier les opérations de gestion. Cependant, étant donnés la grande variabilité et l'hétérogénéité du trafic actuel, la montée en puissance d'applications qui nécessitent de la Qualité de Service, et le déploiement des technologies à très haut débit dans l'accès au réseau, il est nécessaire de développer des techniques d'ingénierie qui optimisent l'utilisation des ressources déployées. En particulier, il est nécessaire de concevoir une ingénierie de réseau qui s'appuie sur la mesure du trafic. La Matrice de Trafic (TM) donne une vision globale des volumes de trafic échangés sur un réseau. La tendance actuelle est d'estimer les TMs à partir des données remontées par les sondes NetFlow ou par ses avatars. Cependant, les mesures de trafic au niveau flot induisent une charge importante au niveau des routeurs. Par conséquent, les mesures sont sous-échantillonnées, ce qui induit une imprécision dans l'estimation de la TM. Dans nos travaux de thèse, nous avons proposé d'analyser la TM à partir de mesures des volumes de trafic agrégés échangés sur les différents liens du réseau. Cette approche réduit considérablement le coût engendré par la mesure et simplifie les questions d'implémentation. D'un point de vue statistique, le problème de l'estimation de la TM à partir de ces mesures est un problème linéaire inverse fortement mal pose. La première contribution concerne la modélisation et l'estimation de la TM. Nous avons proposé de nouveaux modèles statistiques et des nouvelles méthodes d'estimation instantanée et de poursuite pour analyser une TM à partir des mesures SNMP. La deuxième contribution considère la détection et la localisation d'anomalies volumétriques dans la TM. En utilisant un modèle linéaire parcimonieux de la TM, nous avons traité le problème de détection comme un problème invariant avec paramètres de nuisance. Nous nous sommes basés sur des algorithmes récents de théorie de la décision ayant des propriétés d'optimalité bien établies, contrairement à la plupart des techniques de la littérature qui se basent sur des heuristiques. La dernière contribution concerne l'optimisation de l'équilibrage de charge, dans le cas où la TM est variable et difficile à prévoir. En utilisant des techniques d'optimisation robuste, nous avons étudié différents scénarios en présence d'une demande de trafic fortement variable et incertaine. De plus, nous avons mené de manière critique une étude comparée des approches basées sur le routage robuste et des approches d'équilibrage dynamique basées sur les jeux de routage. Afin de démontrer la pertinence de nos contributions, toutes les méthodes proposées dans cette thèse ont été validées en utilisant des données réelles de trafic mesurées sur différents réseaux opérationnels. De plus, les performances des méthodes développées ont été comparées aux travaux bien connus de la littérature. Les résultats de ces comparaisons démontrent de bien meilleures performances dans la plupart des cas, et mettent également en évidence des défauts de conception de certains des algorithmes de la littérature.


  • Résumé

    Network-wide traffic analysis and monitoring in large-scale networks is a challenging and expensive task. In this thesis work we have proposed to analyze the traffic of a large-scale IP network from aggregated traffic measurements, reducing measurement overheads and simplifying implementation issues. We have provided contributions in three different networking fields related to network-wide traffic analysis and monitoring in large-scale IP networks. The first contribution regards Traffic Matrix (TM) modeling and estimation, where we have proposed new statistical models and new estimation methods to analyze the Origin-Destination (OD) flows of a large-scale TM from easily available link traffic measurements. The second contribution regards the detection and localization of volume anomalies in the TM, where we have introduced novel methods with solid optimality properties that outperform current well-known techniques for network-wide anomaly detection proposed so far in the literature. The last contribution regards the optimization of the routing configuration in large-scale IP networks, particularly when the traffic is highly variable and difficult to predict. Using the notions of Robust Routing Optimization we have proposed new approaches for Quality of Service provisioning under highly variable and uncertain traffic scenarios. In order to provide strong evidence on the relevance of our contributions, all the methods proposed in this thesis work were validated using real traffic data from different operational networks. Additionally, their performance was compared against well-known works in each field, showing outperforming results in most cases. Taking together the ensemble of developed TM models, the optimal network-wide anomaly detection and localization methods, and the routing optimization algorithms, this thesis work offers a complete solution for network operators to efficiently monitor large-scale IP networks from aggregated traffic measurements and to provide accurate QoS-based performance, even in the event of volume traffic anomalies.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (227 p.)
  • Notes : Reproduction autorisée par le jury
  • Annexes : Bibliogr. p. [187]-195

Où se trouve cette thèse ?

  • Bibliothèque :
  • Disponible pour le PEB
  • Cote : TA RENNES 2010/164
  • Bibliothèque :
  • Disponible pour le PEB
  • Cote : 8.211 CASA
  • Bibliothèque :
  • Disponible pour le PEB
  • Cote : 8.211 CASA
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.