MA-CDMR: An Intelligent Cross-domain Multicast Routing Method based on Multiagent Deep Reinforcement Learning in Multi-domain SDWN

要約

複数のコントローラを備えたソフトウェア定義ワイヤレス ネットワークにおけるクロスドメイン マルチキャスト ルーティング問題は、古典的な NP ハード最適化問題です。
ネットワーク規模が増大するにつれて、ネットワーク内でクロスドメイン マルチキャスト ルーティング パスを設計および実装するには、最適なクロスドメイン マルチキャスト ツリーを取得するための効率的なソリューション アルゴリズムを設計するだけでなく、グローバル ネットワーク状態情報をタイムリーかつ柔軟に取得および保守する必要があります。
ただし、既存のソリューションではネットワーク トラフィック状態を検知する機能が限られており、マルチキャスト サービスのサービス品質に影響を与えます。
さらに、これらの方法は、非常に動的に変化するネットワーク状態に適応することが難しく、収束速度が遅くなります。
この目的を達成するために、この論文は、マルチコントローラー ドメインを備えた SDWN 向けのマルチエージェント深層強化学習ベースのクロスドメイン マルチキャスト ルーティング方法を設計および実装することを目的としています。
まず、マルチコントローラー通信メカニズムとマルチキャスト グループ管理モジュールは、SDWN の異なる制御ドメイン間でネットワーク情報を転送および同期し、クロスドメイン マルチキャスト グループ内のメンバーの参加と分類を効果的に管理するように設計されています。
第 2 に、理論的な分析と証明により、最適なクロスドメイン マルチキャスト ツリーにはドメイン間マルチキャスト ツリーとドメイン内マルチキャスト ツリーが含まれることが示されています。
エージェントはコントローラごとに確立され、複数のエージェント間の連携メカニズムは、クロスドメイン マルチキャスト ルーティングを効果的に最適化し、クロスドメイン マルチキャスト ルーティングの決定のためのネットワーク状態情報の表現の一貫性と有効性を確保するように設計されています。
第三に、オンラインとオフラインのトレーニングを組み合わせたマルチエージェント強化学習ベースの方法は、リアルタイム環境への依存を減らし、複数のエージェントの収束速度を高めるように設計されています。

要約(オリジナル)

The cross-domain multicast routing problem in a software-defined wireless network with multiple controllers is a classic NP-hard optimization problem. As the network size increases, designing and implementing cross-domain multicast routing paths in the network requires not only designing efficient solution algorithms to obtain the optimal cross-domain multicast tree but also ensuring the timely and flexible acquisition and maintenance of global network state information. However, existing solutions have a limited ability to sense the network traffic state, affecting the quality of service of multicast services. In addition, these methods have difficulty adapting to the highly dynamically changing network states and have slow convergence speeds. To this end, this paper aims to design and implement a multiagent deep reinforcement learning based cross-domain multicast routing method for SDWN with multicontroller domains. First, a multicontroller communication mechanism and a multicast group management module are designed to transfer and synchronize network information between different control domains of the SDWN, thus effectively managing the joining and classification of members in the cross-domain multicast group. Second, a theoretical analysis and proof show that the optimal cross-domain multicast tree includes an interdomain multicast tree and an intradomain multicast tree. An agent is established for each controller, and a cooperation mechanism between multiple agents is designed to effectively optimize cross-domain multicast routing and ensure consistency and validity in the representation of network state information for cross-domain multicast routing decisions. Third, a multiagent reinforcement learning-based method that combines online and offline training is designed to reduce the dependence on the real-time environment and increase the convergence speed of multiple agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google