Identifying Policy Gradient Subspaces

要約

ポリシー勾配法は、複雑な連続制御タスクを解決するための大きな可能性を秘めています。
それでも、最適化問題内の構造を利用することでトレーニング効率を向上させることができます。
最近の研究では、勾配が低次元でゆっくりと変化する部分空間に存在するという事実を利用することで、教師あり学習を加速できることが示されています。
このペーパーでは、さまざまなシミュレートされたベンチマーク タスクで、2 つの一般的な深いポリシー勾配手法についてこの現象を徹底的に評価します。
私たちの結果は、強化学習に固有のデータ分布が継続的に変化するにもかかわらず、このような勾配部分空間が存在することを示しています。
これらの発見は、パラメータ空間探索の改善や二次最適化の有効化など、より効率的な強化学習に関する将来の取り組みの有望な方向性を明らかにしています。

要約(オリジナル)

Policy gradient methods hold great potential for solving complex continuous control tasks. Still, their training efficiency can be improved by exploiting structure within the optimization problem. Recent work indicates that supervised learning can be accelerated by leveraging the fact that gradients lie in a low-dimensional and slowly-changing subspace. In this paper, we conduct a thorough evaluation of this phenomenon for two popular deep policy gradient methods on various simulated benchmark tasks. Our results demonstrate the existence of such gradient subspaces despite the continuously changing data distribution inherent to reinforcement learning. These findings reveal promising directions for future work on more efficient reinforcement learning, e.g., through improving parameter-space exploration or enabling second-order optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google