Learning and Deploying Robust Locomotion Policies with Minimal Dynamics Randomization

要約

深層強化学習 (DRL) 移動ポリシーのトレーニングでは、多くの場合、目的の動作に収束するために大量のデータが必要になります。
この点で、シミュレーターは安価で豊富な情報源を提供します。
sim-to-real 転送を成功させるために、システム同定、ダイナミクスのランダム化、ドメイン適応など、徹底的に設計されたアプローチが一般的に採用されています。
別の方法として、トレーニング中にシステムのダイナミクスを乱すランダム フォース インジェクション (RFI) の単純な戦略を調査します。
ランダムな力の適用により、ダイナミクスのランダム化をエミュレートできることを示します。
これにより、システム ダイナミクスの変動に対してロバストな移動ポリシーを取得できます。
エピソード作動オフセットを導入することにより、拡張ランダム フォース インジェクション (ERFI) と呼ばれる RFI をさらに拡張します。
ERFI は、システム質量の変動に対して追加のロバスト性を提供し、RFI よりも平均で 53% 改善されたパフォーマンスを提供することを示しています。
また、ERFI は、2 つの異なる四足歩行プラットフォーム、ANYmal C と Unitree A1 で sim-to-real 転送を成功させるのに十分であることも示しています。

要約(オリジナル)

Training deep reinforcement learning (DRL) locomotion policies often require massive amounts of data to converge to the desired behaviour. In this regard, simulators provide a cheap and abundant source. For successful sim-to-real transfer, exhaustively engineered approaches such as system identification, dynamics randomization, and domain adaptation are generally employed. As an alternative, we investigate a simple strategy of random force injection (RFI) to perturb system dynamics during training. We show that the application of random forces enables us to emulate dynamics randomization. This allows us to obtain locomotion policies that are robust to variations in system dynamics. We further extend RFI, referred to as extended random force injection (ERFI), by introducing an episodic actuation offset. We demonstrate that ERFI provides additional robustness for variations in system mass offering on average a 53% improved performance over RFI. We also show that ERFI is sufficient to perform a successful sim-to-real transfer on two different quadrupedal platforms, ANYmal C and Unitree A1, even for perceptive locomotion over uneven terrain in outdoor environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google