DemoStart: Demonstration-led auto-curriculum applied to sim-to-real with multi-fingered robots

要約

我々は、わずかな報酬とシミュレーションでの少数のデモンストレーションのみから、3本指のロボットハンドを備えたアーム上の複雑な操作動作を学習できる新しい自動カリキュラム強化学習手法であるDemoStartを紹介します。
シミュレーションから学習することで動作生成の開発サイクルが大幅に短縮され、ドメインのランダム化技術を利用してゼロショットのシミュレーションからリアルへの転送が成功します。
転送されたポリシーは、複数のカメラからの生のピクセルとロボットの固有受容から直接学習されます。
私たちのアプローチは、実際のロボットでのデモンストレーションから学習したポリシーよりも優れたパフォーマンスを発揮し、シミュレーションで収集されたデモンストレーションの必要量は 100 分の 1 です。
詳細とビデオは https://sites.google.com/view/demostart をご覧ください。

要約(オリジナル)

We present DemoStart, a novel auto-curriculum reinforcement learning method capable of learning complex manipulation behaviors on an arm equipped with a three-fingered robotic hand, from only a sparse reward and a handful of demonstrations in simulation. Learning from simulation drastically reduces the development cycle of behavior generation, and domain randomization techniques are leveraged to achieve successful zero-shot sim-to-real transfer. Transferred policies are learned directly from raw pixels from multiple cameras and robot proprioception. Our approach outperforms policies learned from demonstrations on the real robot and requires 100 times fewer demonstrations, collected in simulation. More details and videos in https://sites.google.com/view/demostart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google