Deep Reinforcement Learning for mmWave Initial Beam Alignment

要約

最先端の近位ポリシー最適化アルゴリズムを例として使用して、ミリ波通信の適応型初期アクセス ビーム アライメント問題への深層強化学習アルゴリズムの適用性を調査します。
この問題に取り組むために開発された最近の教師なし学習ベースのアプローチと比較して、深層強化学習は、新しい、より広い範囲のアプリケーションに対処する可能性を秘めています。
トレーニングに必要であり、アルゴリズムを学習するために必要なのはエージェントと環境の相互作用のみです (オンラインであれ、記録されたデータセットを使用してであれ)。
選択した市販の深層強化学習エージェントは、現実的な問題サイズでトレーニングするとうまく機能しませんが、ビームフォーミング モジュールの形でアクション スペース シェーピングを導入すると、一般化可能性をあまり犠牲にすることなく、パフォーマンスが大幅に向上することを示します。
このアドオンを使用すると、エージェントは、現実的な問題サイズであっても、シミュレートされた環境でさまざまな最先端の方法に競争力のあるパフォーマンスを提供できます。
これは、適切に方向付けされた変更により、深層強化学習がこの分野の他のアプローチと競合する可能性があることを示しており、他の/類似のシナリオへの多くの直接的な拡張を可能にします。

要約(オリジナル)

We investigate the applicability of deep reinforcement learning algorithms to the adaptive initial access beam alignment problem for mmWave communications using the state-of-the-art proximal policy optimization algorithm as an example. In comparison to recent unsupervised learning based approaches developed to tackle this problem, deep reinforcement learning has the potential to address a new and wider range of applications, since, in principle, no (differentiable) model of the channel and/or the whole system is required for training, and only agent-environment interactions are necessary to learn an algorithm (be it online or using a recorded dataset). We show that, although the chosen off-the-shelf deep reinforcement learning agent fails to perform well when trained on realistic problem sizes, introducing action space shaping in the form of beamforming modules vastly improves the performance, without sacrificing much generalizability. Using this add-on, the agent is able to deliver competitive performance to various state-of-the-art methods on simulated environments, even under realistic problem sizes. This demonstrates that through well-directed modification, deep reinforcement learning may have a chance to compete with other approaches in this area, opening up many straightforward extensions to other/similar scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google