A Simple Open-Loop Baseline for Reinforcement Learning Locomotion Tasks

要約

移動タスクに関して深層強化学習と競合できる最も単純なベースラインを求めて、生物学的にヒントを得たモデルフリーの開ループ戦略を提案します。
事前の知識を利用し、周期的な関節運動を生成するためのシンプルな発振器の優雅さを利用することで、RL アルゴリズムで通常必要とされる数千のほんの一部である調整可能なパラメーターの数を使用して、5 つの異なる移動環境でかなりのパフォーマンスを達成します。
センサーのノイズや障害にさらされるとパフォーマンスが低下しやすい RL 方式とは異なり、当社のオープンループ発振器はセンサーに依存しないため、顕著な堅牢性を示します。
さらに、ランダム化や報酬エンジニアリングを必要とせずに、弾性四足動物を使用してシミュレーションから現実への移行に成功したことを紹介します。

要約(オリジナル)

In search of the simplest baseline capable of competing with Deep Reinforcement Learning on locomotion tasks, we propose a biologically inspired model-free open-loop strategy. Drawing upon prior knowledge and harnessing the elegance of simple oscillators to generate periodic joint motions, it achieves respectable performance in five different locomotion environments, with a number of tunable parameters that is a tiny fraction of the thousands typically required by RL algorithms. Unlike RL methods, which are prone to performance degradation when exposed to sensor noise or failure, our open-loop oscillators exhibit remarkable robustness due to their lack of reliance on sensors. Furthermore, we showcase a successful transfer from simulation to reality using an elastic quadruped, all without the need for randomization or reward engineering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google