Techniques d'apprentissage par renforcement pour le routage adaptatif dans les réseaux de télécommunication à trafic régulier

par Said Hoceini

Thèse de doctorat en Informatique. Réseaux

Sous la direction de Yacine Amirat.

Soutenue en 2004

à Paris 12 .


  • Résumé

    L'objectif de ce travail de thèse est de proposer des approches algorithmiques permettant de traiter la problématique du routage adaptatif (RA) dans un réseau de communication à trafic irrégulier. L'analyse des algorithmes existants nous a conduit à retenir comme base de travail l'algorithme Q-Routing (QR); celui-ci s'appuie sur la technique d'apprentissage par renforcement basée sur les modèles de Markov. L'efficacité de ce type de routage dépend fortement des informations sur la charge et la nature du trafic sur le réseau. Ces dernières doivent être à la fois, suffisantes, pertinentes et reflétant la charge réelle du réseau lors de la phase de prise de décision. Pour remédier aux inconvénients des techniques utilisant le QR, nous avons proposé deux algorithmes de RA. Le premier, appelé Q-Neural Routing, s appuie sur un modèle neuronal stochastique pour estil et mettre à jour les paramètres necessaires au RA. Afin d'accélérer le temps de convergence, une deuxième approche est proposée K-Shortest path Q-Routing. Elle est basée sur la technique de routage mufti chemin combiné avec l'algorithme QR, l'espace d'exploration étant réduit aux k meilleurs chemins. Les deux algorithmes proposés sont validés et comparés aux approches traditionnelles en utilisant la plateforme de simulation OPNET, leur efficacité au niveau du lL\ est mise particulièrement en évidence. En effet, ceux-ci permettent une meilleure prise en compte de l'état du réseau contrairement aux approches classiques.

  • Titre traduit

    Technique of reinforcement learning for adaptative routing in telecommunication networks with irregular traffic


  • Résumé

    The aim of this thesis is to propose an algorithmic approach, \vhich allo\vs to treat the problems of adaptive routing (AR) in telecommunication networks with irregular traffic. The analysis of the existing approaches has lead us to base our \vork on tlie Q-Routing (QR) algonthm. This algorithm uses a reinforcement learning technique vhich is based on Markov models. The efficiency of these routing approaches depends on information about the network load and the nature of data fiows. This information must be sufficient and relevant and l has to reflect the real network load during the decision making phase. To overcome drawbacks of techniques using QR, ve have proposed tivo AR algorithms. The first one, which is called Q-Neural Routing, is based on a stochastic neural model, used for parameter estimation and updating required for routing. In order to reduce the convergence time, a second approach is proposed: k-Shortest path Q-Routing. It is based on a multi-patlis routing technique combined with the QR algoritlim. In this case, the exploration space is limited to k-Best paths. The proposed algorithms are validated and compared to traditional approaches using the OPNET Simulator. Their efficiency, with respect to AR, is illustrated. In fact, these algorithms allow taking into account the network state in a hetter wav than the classical approaches do.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 176 p.
  • Notes : publication autorisée par le jury
  • Annexes : Bibliogr. p. 159-166

Où se trouve cette thèse ?