Efficient Reinforcement Learning for Jumping Monopods

要約

この研究では、一脚をジャンプしてターゲットに到達させるという複雑な制御問題を検討します。
一脚はあらゆる方向にジャンプでき、足の下の地形は平らでない場合があります。
これは、標準的な最適化ベースの手法を使用して解決するのが非常に難しく、計算コストがかかる、より大きなクラスの問題のテンプレートです。
強化学習 (RL) は興味深い代替手段になる可能性がありますが、コントローラーがすべてを最初から学習する必要があるエンドツーエンドのアプローチの適用は非現実的です。
この論文で提唱されている解決策は、物理的な知識を注入することによって、RL フレームワーク内で学習プロセスをガイドすることです。
この手段は、学習時間の大幅な短縮や、モーションを実行する低レベルのコントローラーで起こり得るエラーを学習して補正する機能など、広範なメリットをもたらします。
最適化ベースの RL アプローチとエンドツーエンドの RL アプローチの両方に関して、私たちのアプローチの利点を示します。

要約(オリジナル)

In this work, we consider the complex control problem of making a monopod reach a target with a jump. The monopod can jump in any direction and the terrain underneath its foot can be uneven. This is a template of a much larger class of problems, which are extremely challenging and computationally expensive to solve using standard optimisation-based techniques. Reinforcement Learning (RL) could be an interesting alternative, but the application of an end-to-end approach in which the controller must learn everything from scratch, is impractical. The solution advocated in this paper is to guide the learning process within an RL framework by injecting physical knowledge. This expedient brings to widespread benefits, such as a drastic reduction of the learning time, and the ability to learn and compensate for possible errors in the low-level controller executing the motion. We demonstrate the advantage of our approach with respect to both optimization-based and end-to-end RL approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google