DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation

要約

微分可能なシミュレーターは分析勾配を提供し、よりサンプル効率の高い学習アルゴリズムを可能にし、画像からの学習などのデータ集約型の学習タスクへの道を開きます。
この研究では、微分可能なシミュレーターからの解析勾配を使用してトレーニングされた移動ポリシーが現実世界に正常に転送できることを実証します。
通常、有益な勾配を提供するシミュレータには、シミュレーションからリアルへの転送、またはその逆に必要な物理的精度が欠けています。
私たちの成功の重要な要因は、有益な勾配と物理的精度を組み合わせたスムーズな接触モデルであり、学習した行動の効果的な伝達を保証します。
私たちの知る限り、実際の四足歩行ロボットが微分可能なシミュレーションのみで訓練された後に移動できるようになったのはこれが初めてです。

要約(オリジナル)

Differentiable simulators provide analytic gradients, enabling more sample-efficient learning algorithms and paving the way for data intensive learning tasks such as learning from images. In this work, we demonstrate that locomotion policies trained with analytic gradients from a differentiable simulator can be successfully transferred to the real world. Typically, simulators that offer informative gradients lack the physical accuracy needed for sim-to-real transfer, and vice-versa. A key factor in our success is a smooth contact model that combines informative gradients with physical accuracy, ensuring effective transfer of learned behaviors. To the best of our knowledge, this is the first time a real quadrupedal robot is able to locomote after training exclusively in a differentiable simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google