Model Based Residual Policy Learning with Applications to Antenna Control

要約

微分不可能なコントローラとルールベースのポリシーは、通信ネットワークやロボットなどの実際のシステムを制御するために広く使用されています。
具体的には、モバイル ネットワーク基地局のアンテナのパラメータをこれらのポリシーによって動的に構成して、ユーザーのカバレッジとサービスの品質を向上させることができます。
アンテナ傾斜制御問題を動機として、実用的な強化学習 (RL) 手法であるモデルベースの残差ポリシー学習 (MBRPL) を紹介します。
MBRPL は、モデルベースのアプローチを通じて既存のポリシーを強化し、既製の RL 手法と比較してサンプル効率の向上と実際の環境との相互作用の数の減少につながります。私たちの知る限り、これは最初の論文です。
アンテナ制御のためのモデルベースのアプローチを検討します。
実験結果は、私たちの方法が以前の RL 方法よりもサンプル効率を向上させながら強力な初期パフォーマンスを提供することを明らかにしており、これはこれらのアルゴリズムを実際のネットワークに展開するための 1 つのステップです。

要約(オリジナル)

Non-differentiable controllers and rule-based policies are widely used for controlling real systems such as telecommunication networks and robots. Specifically, parameters of mobile network base station antennas can be dynamically configured by these policies to improve users coverage and quality of service. Motivated by the antenna tilt control problem, we introduce Model-Based Residual Policy Learning (MBRPL), a practical reinforcement learning (RL) method. MBRPL enhances existing policies through a model-based approach, leading to improved sample efficiency and a decreased number of interactions with the actual environment when compared to off-the-shelf RL methods.To the best of our knowledge, this is the first paper that examines a model-based approach for antenna control. Experimental results reveal that our method delivers strong initial performance while improving sample efficiency over previous RL methods, which is one step towards deploying these algorithms in real networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google