Learning Quadrupedal Locomotion via Differentiable Simulation

要約

解析的な勾配計算を可能にする微分可能なシミュレータの出現は、従来の強化学習（RL）手法よりもサンプル効率を大幅に向上させる可能性を秘めた学習アルゴリズムの新しい波を動機づけている。最近の研究では、比較的滑らかなダイナミクスを持つシナリオ、つまり滑らかな最適化ランドスケープのシナリオでは性能が向上することが実証されていますが、脚式ロコモーションのような接触が多いシナリオで微分可能なシミュレータを活用する研究はほとんどありません。これは、接触が不連続であるため、解析的勾配を用いた最適化にはいくつかの課題があるためと考えられます。本論文の目的は、接触があっても解析的勾配が有益かどうかを判断することである。我々の調査は、接触シミュレーションのレンズを通して最適化の課題を検討し、学習プロセスにおけるソフトおよびハードの異なる接触モデルの効果に焦点を当てる。解析的勾配を活用した学習アルゴリズムであるShort-Horizon Actor-Critic（SHAC）を用いて、四足歩行ロボットの物理的に妥当な運動スキルを学習するために、解析的勾配を採用することの実行可能性を実証し、解析的勾配の利点を理解するために、最先端のRLアルゴリズムであるProximal Policy Optimization（PPO）との比較を行う。

要約(オリジナル)

The emergence of differentiable simulators enabling analytic gradient computation has motivated a new wave of learning algorithms that hold the potential to significantly increase sample efficiency over traditional Reinforcement Learning (RL) methods. While recent research has demonstrated performance gains in scenarios with comparatively smooth dynamics and, thus, smooth optimization landscapes, research on leveraging differentiable simulators for contact-rich scenarios, such as legged locomotion, is scarce. This may be attributed to the discontinuous nature of contact, which introduces several challenges to optimizing with analytic gradients. The purpose of this paper is to determine if analytic gradients can be beneficial even in the face of contact. Our investigation focuses on the effects of different soft and hard contact models on the learning process, examining optimization challenges through the lens of contact simulation. We demonstrate the viability of employing analytic gradients to learn physically plausible locomotion skills with a quadrupedal robot using Short-Horizon Actor-Critic (SHAC), a learning algorithm leveraging analytic gradients, and draw a comparison to a state-of-the-art RL algorithm, Proximal Policy Optimization (PPO), to understand the benefits of analytic gradients.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL