3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

要約

模倣学習はロボットに器用なスキルを教える効率的な方法を提供します。
ただし、複雑なスキルを確実かつ一般的に学習するには、通常、人間による大量のデモンストレーションが必要です。
この困難な問題に取り組むために、我々は、条件付きアクション生成モデルのクラスである拡散ポリシーに 3D 視覚表現の力を組み込んだ、新しい視覚模倣学習アプローチである 3D 拡散ポリシー (DP3) を紹介します。
DP3 の核となる設計は、効率的なポイント エンコーダを使用してまばらな点群から抽出された、コンパクトな 3D 視覚表現の利用です。
72 のシミュレーション タスクを含む私たちの実験では、DP3 はわずか 10 回のデモン​​ストレーションでほとんどのタスクを正常に処理し、相対的な改善率 24.2% でベースラインを上回りました。
DP3 は、4 つの実際のロボット タスクにおいて、各タスクのデモンストレーションをわずか 40 回しか行わなかったにもかかわらず、85% という高い成功率で正確な制御を示し、空間、視点、外観、インスタンスなどのさまざまな側面で優れた汎化能力を示しました。
興味深いことに、実際のロボット実験では、人間の介入が必要となるベースライン手法とは対照的に、DP3 が安全要件に違反することはほとんどありません。
私たちの広範な評価により、現実世界のロボット学習における 3D 表現の重要性が浮き彫りになっています。
ビデオ、コード、データは https://3d-diffusion-policy.github.io で入手できます。

要約(オリジナル)

Imitation learning provides an efficient way to teach robots dexterous skills; however, learning complex skills robustly and generalizablely usually consumes large amounts of human demonstrations. To tackle this challenging problem, we present 3D Diffusion Policy (DP3), a novel visual imitation learning approach that incorporates the power of 3D visual representations into diffusion policies, a class of conditional action generative models. The core design of DP3 is the utilization of a compact 3D visual representation, extracted from sparse point clouds with an efficient point encoder. In our experiments involving 72 simulation tasks, DP3 successfully handles most tasks with just 10 demonstrations and surpasses baselines with a 24.2% relative improvement. In 4 real robot tasks, DP3 demonstrates precise control with a high success rate of 85%, given only 40 demonstrations of each task, and shows excellent generalization abilities in diverse aspects, including space, viewpoint, appearance, and instance. Interestingly, in real robot experiments, DP3 rarely violates safety requirements, in contrast to baseline methods which frequently do, necessitating human intervention. Our extensive evaluation highlights the critical importance of 3D representations in real-world robot learning. Videos, code, and data are available on https://3d-diffusion-policy.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google