Generalizable Resource Scaling of 5G Slices using Constrained Reinforcement Learning

要約

ネットワーク スライシングは、5G がさまざまなアプリケーションをサポートできるようにするための重要な要素です。
サービス プロバイダー (SP) によって要求されたスライスには、遅延、スループット、ジッターなどの異種サービス品質 (QoS) 要件があります。
5G インフラストラクチャ プロバイダー (InP) がスライスのトラフィックに応じて適切な量のリソースを割り当て、リソース効率を最大化しながらスライスの存続期間中指定された QoS レベルが維持されるようにすることが不可欠です。
ただし、QoS とリソース割り当ての間には重要な関係があります。
この論文では、回帰ベースのモデルを使用してこの関係を学習します。
また、このモデルとドメインのランダム化を使用してオフラインでトレーニングされるリスク制限付き強化学習エージェントを利用して、必要な QoS レベルを維持しながらスライス リソースを動的にスケーリングします。
私たちの新しいアプローチはモデルフリーであり、QoS メトリクスをトラフィックに関して数学的に定式化する必要がないため、ネットワーク モデリング エラーの影響を軽減します。
さらに、不確実なネットワーク条件に対する堅牢性を提供し、現実世界のさまざまなトラフィック パターンに一般化して、さまざまな QoS メトリクスに対応します。
結果は、最先端のアプローチが、これまで見たことのないトラフィックでテストされた場合、QoS が 44.5% も低下する可能性があることを示しています。
一方、私たちのアプローチでは、割り当てられるリソースを最小限に抑えながら、そのようなトラフィックでの QoS 低下を事前に設定された 10% しきい値未満に維持します。
さらに、提案されたアプローチが、さまざまなネットワーク条件や不正確なトラフィック予測に対して堅牢であることを実証します。

要約(オリジナル)

Network slicing is a key enabler for 5G to support various applications. Slices requested by service providers (SPs) have heterogeneous quality of service (QoS) requirements, such as latency, throughput, and jitter. It is imperative that the 5G infrastructure provider (InP) allocates the right amount of resources depending on the slice’s traffic, such that the specified QoS levels are maintained during the slice’s lifetime while maximizing resource efficiency. However, there is a non-trivial relationship between the QoS and resource allocation. In this paper, this relationship is learned using a regression-based model. We also leverage a risk-constrained reinforcement learning agent that is trained offline using this model and domain randomization for dynamically scaling slice resources while maintaining the desired QoS level. Our novel approach reduces the effects of network modeling errors since it is model-free and does not require QoS metrics to be mathematically formulated in terms of traffic. In addition, it provides robustness against uncertain network conditions, generalizes to different real-world traffic patterns, and caters to various QoS metrics. The results show that the state-of-the-art approaches can lead to QoS degradation as high as 44.5% when tested on previously unseen traffic. On the other hand, our approach maintains the QoS degradation below a preset 10% threshold on such traffic, while minimizing the allocated resources. Additionally, we demonstrate that the proposed approach is robust against varying network conditions and inaccurate traffic predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google