Network Slicing via Transfer Learning aided Distributed Deep Reinforcement Learning

要約

深層強化学習 (DRL) は、ネットワーク スライシングにおける動的で複雑なリソース管理を処理するために採用されることが増えています。
ただし、実際のネットワークでの DRL ポリシーの展開は、セルの状態が異種であるため複雑になります。
この論文では、セル間スライス間リソース分割のためのエージェント間類似性分析を備えた新しい転移学習 (TL) 支援マルチエージェント深層強化学習 (MADRL) アプローチを提案します。
まず、リソースをインテリジェントにスライスに分割し、セル間干渉を管理するための情報共有を備えた調整された MADRL 手法を設計します。
次に、ポリシーの展開を加速するために、学習した DRL ポリシーをさまざまなローカル エージェント間で転送するための統合 TL 手法を提案します。
この手法は、新しいドメインとタスクの類似性測定アプローチと、誰からどのように移転するかという問題を解決する新しい知識移転アプローチから構成されています。
私たちは、システムレベルのシミュレーターで広範なシミュレーションを行って提案されたソリューションを評価し、パフォーマンス、収束速度、サンプル効率の点で私たちのアプローチが最先端のソリューションを上回ることを示しました。
さらに、TL を適用することにより、TL を使用しない座標 MADRL アプローチよりも 27% 以上高い追加ゲインを達成します。

要約(オリジナル)

Deep reinforcement learning (DRL) has been increasingly employed to handle the dynamic and complex resource management in network slicing. The deployment of DRL policies in real networks, however, is complicated by heterogeneous cell conditions. In this paper, we propose a novel transfer learning (TL) aided multi-agent deep reinforcement learning (MADRL) approach with inter-agent similarity analysis for inter-cell inter-slice resource partitioning. First, we design a coordinated MADRL method with information sharing to intelligently partition resource to slices and manage inter-cell interference. Second, we propose an integrated TL method to transfer the learned DRL policies among different local agents for accelerating the policy deployment. The method is composed of a new domain and task similarity measurement approach and a new knowledge transfer approach, which resolves the problem of from whom to transfer and how to transfer. We evaluated the proposed solution with extensive simulations in a system-level simulator and show that our approach outperforms the state-of-the-art solutions in terms of performance, convergence speed and sample efficiency. Moreover, by applying TL, we achieve an additional gain over 27% higher than the coordinate MADRL approach without TL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google