Digital Twin-Enhanced Deep Reinforcement Learning for Resource Management in Networks Slicing

要約

ネットワーク スライシング ベースの通信システムは、多様なサービスにリソースを動的かつ効率的に割り当てることができます。
ただし、チャネル アクセスにおけるネットワーク インターフェイスの制限とリソース割り当ての複雑さのため、サービス リクエストの動的確率モデルについての正確な事前知識がなければ、実際のシステムで許容可能なソリューションを達成することは困難です。
既存の研究では、深層強化学習 (DRL) を使用してこの問題を解決しようとしていますが、このような方法では通常、良い結果を達成するために実際の環境との多くの対話が必要です。
この論文では、この問題を処理するために、デジタル ツインと強化学習エージェントで構成されるフレームワークが存在します。
具体的には、過去のデータとニューラル ネットワークを使用してデジタル ツイン モデルを構築し、実環境の状態変動則をシミュレートすることを提案します。
次に、ネットワーク スライシング環境によって生成されたデータを使用してデジタル ツインを調整し、実際の環境と同期します。
最後に、スライス最適化のための DRL は、この仮想事前検証環境で自身のパフォーマンスを最適化します。
私たちは、提案されたデジタル ツイン フレームワークの徹底的な検証を実施し、そのスケーラビリティを確認しました。
具体的には、損失状況を使用して DRL ソリューションの一般化を視覚化することを提案します。
軽量スライス戦略のための蒸留ベースの最適化スキームを検討します。
さらに、このフレームワークをオフライン強化学習にも拡張し、ソリューションを使用して履歴データのみに基づいてインテリジェントな意思決定を得ることができます。
数値シミュレーション実験により、提案されたデジタル ツインがスライス最適化戦略のパフォーマンスを大幅に向上できることが示されています。

要約(オリジナル)

Network slicing-based communication systems can dynamically and efficiently allocate resources for diversified services. However, due to the limitation of the network interface on channel access and the complexity of the resource allocation, it is challenging to achieve an acceptable solution in the practical system without precise prior knowledge of the dynamics probability model of the service requests. Existing work attempts to solve this problem using deep reinforcement learning (DRL), however, such methods usually require a lot of interaction with the real environment in order to achieve good results. In this paper, a framework consisting of a digital twin and reinforcement learning agents is present to handle the issue. Specifically, we propose to use the historical data and the neural networks to build a digital twin model to simulate the state variation law of the real environment. Then, we use the data generated by the network slicing environment to calibrate the digital twin so that it is in sync with the real environment. Finally, DRL for slice optimization optimizes its own performance in this virtual pre-verification environment. We conducted an exhaustive verification of the proposed digital twin framework to confirm its scalability. Specifically, we propose to use loss landscapes to visualize the generalization of DRL solutions. We explore a distillation-based optimization scheme for lightweight slicing strategies. In addition, we also extend the framework to offline reinforcement learning, where solutions can be used to obtain intelligent decisions based solely on historical data. Numerical simulation experiments show that the proposed digital twin can significantly improve the performance of the slice optimization strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google