Reinforcement Learning with Elastic Time Steps

要約

従来の強化学習 (RL) アルゴリズムは通常、固定制御レートで動作するコントローラーを学習するためにロボット工学に適用されます。
RL アルゴリズムの離散的な性質を考慮すると、制御レートの選択の影響に気付かないため、正しい制御レートを見つけるのは難しく、間違いによってコンピューティング リソースが過度に使用されたり、収束が得られなかったりすることがよくあります。
我々は、この問題に対処するための新しいオフポリシー アクタークリティック アルゴリズムである Soft Elastic Actor-Critic (SEAC) を提案します。
SEAC は、弾力的なタイム ステップ (既知の可変期間を持つタイム ステップ) を実装します。これにより、エージェントは状況に適応するために制御頻度を変更できます。
実際には、SEAC は必要な場合にのみ制御を適用し、計算リソースとデータの使用量を最小限に抑えます。
ニュートン運動学迷路ナビゲーション タスクおよび 3D レーシング ビデオ ゲームである Trackmania のシミュレーションで SEAC の機能を評価します。
SEAC は、エネルギー効率と全体的な時間管理の点で SAC ベースラインを上回っており、最も重要なことに、学習されたコントローラーの制御周波数を特定する必要がありません。
SEAC は、特に SAC が収束するのに苦労した制御レートにおいて、SAC よりも速くて安定したトレーニング速度を示しました。
また、SEAC を同様のアプローチである連続時間連続オプション (CTCO) モデルと比較したところ、SEAC の方がタスクのパフォーマンスが向上しました。
これらの発見は、ロボット工学における実用的な現実世界の RL アプリケーションに対する SEAC の可能性を強調しています。

要約(オリジナル)

Traditional Reinforcement Learning (RL) algorithms are usually applied in robotics to learn controllers that act with a fixed control rate. Given the discrete nature of RL algorithms, they are oblivious to the effects of the choice of control rate: finding the correct control rate can be difficult and mistakes often result in excessive use of computing resources or even lack of convergence. We propose Soft Elastic Actor-Critic (SEAC), a novel off-policy actor-critic algorithm to address this issue. SEAC implements elastic time steps, time steps with a known, variable duration, which allow the agent to change its control frequency to adapt to the situation. In practice, SEAC applies control only when necessary, minimizing computational resources and data usage. We evaluate SEAC’s capabilities in simulation in a Newtonian kinematics maze navigation task and on a 3D racing video game, Trackmania. SEAC outperforms the SAC baseline in terms of energy efficiency and overall time management, and most importantly without the need to identify a control frequency for the learned controller. SEAC demonstrated faster and more stable training speeds than SAC, especially at control rates where SAC struggled to converge. We also compared SEAC with a similar approach, the Continuous-Time Continuous-Options (CTCO) model, and SEAC resulted in better task performance. These findings highlight the potential of SEAC for practical, real-world RL applications in robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google