Federated Deep Reinforcement Learning for THz-Beam Search with Limited CSI

要約

タイトル：制限されたCSIを持つTHzビーム探索のためのフェデレーテッドディープ強化学習

要約：
– THz通信は、広範な周波数スペクトルを持つことから、次世代の無線ネットワークにおける高速データ伝送に必要な要件を満たす有望な技術である。しかし、その強い伝播減衰のために実装が困難である。
– 大規模なアンテナアレイのためのビーム方向探索は、THz信号の強い伝播減衰を克服するための重要な課題である。
– 本論文では、エッジサーバーによってコーディネートされた複数の基地局（BS）に対して、フェデレーテッドディープ強化学習（FDRL）の新しいアプローチを提案している。全てのBSは、限られたチャネル状態情報（CSI）を用いてDDPGモデルに基づいてTHzビームフォーミングポリシーを獲得する。彼らは、DDPGモデルを隠れ情報で更新して、セル間干渉を軽減する。
– 我々は、より多くのTHz CSIとDDPGの隠れニューロンを採用することで、セルネットワークがより高いスループットを達成できることを示した。また、部分的モデルアップロードによって、エッジサーバーとBS間の通信負荷を軽減するための効果的手段を示した。
– 提案されたFDRLは、従来の非学習ベースと既存の非FDRLベンチマーク最適化方法よりも優れた性能を発揮する。

要約(オリジナル)

Terahertz (THz) communication with ultra-wide available spectrum is a promising technique that can achieve the stringent requirement of high data rate in the next-generation wireless networks, yet its severe propagation attenuation significantly hinders its implementation in practice. Finding beam directions for a large-scale antenna array to effectively overcome severe propagation attenuation of THz signals is a pressing need. This paper proposes a novel approach of federated deep reinforcement learning (FDRL) to swiftly perform THz-beam search for multiple base stations (BSs) coordinated by an edge server in a cellular network. All the BSs conduct deep deterministic policy gradient (DDPG)-based DRL to obtain THz beamforming policy with limited channel state information (CSI). They update their DDPG models with hidden information in order to mitigate inter-cell interference. We demonstrate that the cell network can achieve higher throughput as more THz CSI and hidden neurons of DDPG are adopted. We also show that FDRL with partial model update is able to nearly achieve the same performance of FDRL with full model update, which indicates an effective means to reduce communication load between the edge server and the BSs by partial model uploading. Moreover, the proposed FDRL outperforms conventional non-learning-based and existing non-FDRL benchmark optimization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI