Benchmarking Smoothness and Reducing High-Frequency Oscillations in Continuous Control Policies

要約

強化学習 (RL) ポリシーは高周波の変動を起こしやすく、現実世界のハードウェアに展開する場合は特に望ましくありません。
この論文では、深RLにおける高周波振動を軽減することを目的とした文献からの方法を特定、分類、比較します。
損失正則化とアーキテクチャ手法という 2 つの大きなクラスを定義します。
これらの方法の中核は、入力空間内の近くの状態が出力空間内の近くのアクションを生成するような、滑らかなマッピングの学習を奨励することです。
体育館や複雑な操作タスク、さらに実際のハードウェアでの展開と評価を含む 3 つのロボット移動タスクからの従来の RL 環境でのポリシーのパフォーマンスと制御のスムーズさに関するベンチマークを示します。
最後に、損失正則化とアーキテクチャ手法の両方の要素を組み合わせたハイブリッド手法も提案します。
最高のパフォーマンスを発揮するハイブリッドは他の方法よりも優れており、制御の滑らかさがベースラインより 26.8% 向上し、最悪の場合のパフォーマンスの低下はわずか 2.8% であることがわかりました。

要約(オリジナル)

Reinforcement learning (RL) policies are prone to high-frequency oscillations, especially undesirable when deploying to hardware in the real-world. In this paper, we identify, categorize, and compare methods from the literature that aim to mitigate high-frequency oscillations in deep RL. We define two broad classes: loss regularization and architectural methods. At their core, these methods incentivize learning a smooth mapping, such that nearby states in the input space produce nearby actions in the output space. We present benchmarks in terms of policy performance and control smoothness on traditional RL environments from the Gymnasium and a complex manipulation task, as well as three robotics locomotion tasks that include deployment and evaluation with real-world hardware. Finally, we also propose hybrid methods that combine elements from both loss regularization and architectural methods. We find that the best-performing hybrid outperforms other methods, and improves control smoothness by 26.8% over the baseline, with a worst-case performance degradation of just 2.8%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google