How Does Forecasting Affect the Convergence of DRL Techniques in O-RAN Slicing?

要約

仮想現実（VR）ゲームやメタバース・サービスなどの没入型アプリケーションの成功は、低遅延で信頼性の高い接続性にかかっている。シームレスなユーザー体験を提供するために、オープンな無線アクセスネットワーク（O-RAN）アーキテクチャと6Gネットワークが重要な役割を果たすと期待されています。O-RANパラダイムの重要な構成要素であるRANスライシングは、没入型サービスのニーズに基づいてネットワークリソースを割り当てることを可能にし、単一の物理インフラ上に複数の仮想ネットワークを構築します。O-RANの文献では、リソース割り当てを最適化するために深層強化学習（DRL）アルゴリズムが一般的に使用されています。しかし、実戦配備におけるDRLの実用化は遅れています。その主な原因は、DRLエージェントの収束が遅いことと、初期導入時およびネットワーク状況が大きく変化した場合にパフォーマンスが不安定になることです。本稿では、トラフィック需要の時系列予測がDRLベースのスライシングエージェントの収束に与える影響を調査する。そのために、実際のVRゲームトラフィックを含む複数のサービスをサポートする徹底的な実験を実施する。そして、DRLの収束性を高めるための新しい予測支援型DRLアプローチと、そのO-RAN実用展開ワークフローを提案します。我々のアプローチは、平均初期報酬値、収束率、収束シナリオ数において、それぞれ最大22.8%、86.3%、300%の改善を示し、実装されたベースラインと比較してDRLエージェントの汎用性を高めています。また、本アプローチは予測誤差に対してロバストであり、予測モデルが理想的である必要はないことも示している。

要約(オリジナル)

The success of immersive applications such as virtual reality (VR) gaming and metaverse services depends on low latency and reliable connectivity. To provide seamless user experiences, the open radio access network (O-RAN) architecture and 6G networks are expected to play a crucial role. RAN slicing, a critical component of the O-RAN paradigm, enables network resources to be allocated based on the needs of immersive services, creating multiple virtual networks on a single physical infrastructure. In the O-RAN literature, deep reinforcement learning (DRL) algorithms are commonly used to optimize resource allocation. However, the practical adoption of DRL in live deployments has been sluggish. This is primarily due to the slow convergence and performance instabilities suffered by the DRL agents both upon initial deployment and when there are significant changes in network conditions. In this paper, we investigate the impact of time series forecasting of traffic demands on the convergence of the DRL-based slicing agents. For that, we conduct an exhaustive experiment that supports multiple services including real VR gaming traffic. We then propose a novel forecasting-aided DRL approach and its respective O-RAN practical deployment workflow to enhance DRL convergence. Our approach shows up to 22.8%, 86.3%, and 300% improvements in the average initial reward value, convergence rate, and number of converged scenarios respectively, enhancing the generalizability of the DRL agents compared with the implemented baselines. The results also indicate that our approach is robust against forecasting errors and that forecasting models do not have to be ideal.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL