Multi-agent Attention Actor-Critic Algorithm for Load Balancing in Cellular Networks

要約

セルラー ネットワークでは、ユーザー機器 (UE) が 1 つの基地局 (BS) から別の基地局 (BS) にハンドオフし、BS 間で負荷分散の問題が発生します。
この問題に対処するために、BS は協力してスムーズな移行 (またはハンドオフ) を提供し、UE のサービス要件を満たすことができます。
この論文では、負荷分散問題をマルコフ ゲームとして定式化し、BS (つまりエージェント) 間のコラボレーションを促進できるロバスト マルチエージェント アテンション アクター-クリティック (Robust-MA3C) アルゴリズムを提案します。
特に、マルコフ ゲームを解決し、ナッシュ均衡ポリシーを見つけるために、システムの不確実性をモデル化するためにネイチャー エージェントを採用するというアイデアを取り入れています。
さらに、パフォーマンスの高い BS がパフォーマンスの低い BS を支援することを奨励する自己注意メカニズムを利用します。
さらに、アクティブ UE とアイドル UE の両方の負荷分散を容易にする 2 種類の方式を検討します。
シミュレーションによる広範な評価を実施し、シミュレーション結果は、最先端の MARL 手法と比較して、Robust-\ours~scheme が全体のパフォーマンスを最大 45% 向上させることができることを示しています。

要約(オリジナル)

In cellular networks, User Equipment (UE) handoff from one Base Station (BS) to another, giving rise to the load balancing problem among the BSs. To address this problem, BSs can work collaboratively to deliver a smooth migration (or handoff) and satisfy the UEs’ service requirements. This paper formulates the load balancing problem as a Markov game and proposes a Robust Multi-agent Attention Actor-Critic (Robust-MA3C) algorithm that can facilitate collaboration among the BSs (i.e., agents). In particular, to solve the Markov game and find a Nash equilibrium policy, we embrace the idea of adopting a nature agent to model the system uncertainty. Moreover, we utilize the self-attention mechanism, which encourages high-performance BSs to assist low-performance BSs. In addition, we consider two types of schemes, which can facilitate load balancing for both active UEs and idle UEs. We carry out extensive evaluations by simulations, and simulation results illustrate that, compared to the state-of-the-art MARL methods, Robust-\ours~scheme can improve the overall performance by up to 45%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google