FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control

要約

強化学習（RL）はロボット工学の大きな進歩を遂げていますが、その複雑さと長いトレーニング時間は大きなボトルネックのままです。
このレポートでは、ヒューマノイドベンチ、イサクラブ、ムジョコプレイグラウンドなどの人気スイートでヒューマノイドロボットのトレーニングを大幅に高速化するシンプルで高速で有能なRLアルゴリズムであるFASTTD3を導入します。
私たちのレシピは非常に簡単です。並列シミュレーション、大型バッチアップデート、流通批評家、慎重に調整されたハイパーパラメーターなど、いくつかの変更を加えたオフポリシーTD3エージェントをトレーニングします。
FASTTD3は、トレーニング中は安定したままで、1つのA100 GPUで3時間以内にヒューマノイドベンチの範囲を3時間以内に解決します。
また、FASTTD3の軽量で使いやすい実装を提供して、ロボット工学のRL研究を加速します。

要約(オリジナル)

Reinforcement learning (RL) has driven significant progress in robotics, but its complexity and long training times remain major bottlenecks. In this report, we introduce FastTD3, a simple, fast, and capable RL algorithm that significantly speeds up training for humanoid robots in popular suites such as HumanoidBench, IsaacLab, and MuJoCo Playground. Our recipe is remarkably simple: we train an off-policy TD3 agent with several modifications — parallel simulation, large-batch updates, a distributional critic, and carefully tuned hyperparameters. FastTD3 solves a range of HumanoidBench tasks in under 3 hours on a single A100 GPU, while remaining stable during training. We also provide a lightweight and easy-to-use implementation of FastTD3 to accelerate RL research in robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google