Multi-agent Reinforcement Learning for Energy Saving in Multi-Cell Massive MIMO Systems

要約

マルチセル・ネットワークにおける複数の大規模MIMO（多入力多出力）基地局（BS）の総エネルギー消費量を、これらのBSのマルチレベルのアドバンスド・スリープ・モード（ASM）とアンテナ切り替えに関する決定を行うことにより、全体のQoS（Quality-of-Service）を維持しながら最小化するためのマルチエージェント強化学習（MARL）アルゴリズムを開発する。この問題は、セル間干渉に対処するために必要な個々のBS間の協調を可能にするために、分散型部分可観測マルコフ決定過程（DEC-POMDP）としてモデル化される。マルチエージェント近接政策最適化(MAPPO)アルゴリズムが協調BS制御政策を学習するように設計されている。スケーラビリティを向上させるために、MAPPO-neighbor policyと呼ばれる修正版をさらに提案する。シミュレーションの結果、学習されたMAPPOエージェントはベースラインポリシーと比較して優れた性能を達成することが実証された。具体的には、オートスリープモード1（シンボルレベルスリープ）アルゴリズムと比較して、MAPPO-neighborポリシーは、低トラフィック時間帯の消費電力を約8.7%削減し、高トラフィック時間帯のエネルギー効率をそれぞれ約19%改善する。

要約(オリジナル)

We develop a multi-agent reinforcement learning (MARL) algorithm to minimize the total energy consumption of multiple massive MIMO (multiple-input multiple-output) base stations (BSs) in a multi-cell network while preserving the overall quality-of-service (QoS) by making decisions on the multi-level advanced sleep modes (ASMs) and antenna switching of these BSs. The problem is modeled as a decentralized partially observable Markov decision process (DEC-POMDP) to enable collaboration between individual BSs, which is necessary to tackle inter-cell interference. A multi-agent proximal policy optimization (MAPPO) algorithm is designed to learn a collaborative BS control policy. To enhance its scalability, a modified version called MAPPO-neighbor policy is further proposed. Simulation results demonstrate that the trained MAPPO agent achieves better performance compared to baseline policies. Specifically, compared to the auto sleep mode 1 (symbol-level sleeping) algorithm, the MAPPO-neighbor policy reduces power consumption by approximately 8.7% during low-traffic hours and improves energy efficiency by approximately 19% during high-traffic hours, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL