Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

要約

多様な環境で自律的に動作できる人型ロボットは、ロボット工学者にとって長年の目標でした。
しかし、主に一般化可能なスキルを習得することが難しいため、人型ロボットによる自律的な操作は、主に特定の場面に限定されてきました。
3D 普及政策 (DP3) などの 3D 視覚運動政策の最近の進歩は、これらの機能をより自然な環境に拡張する可能性を示しています。
ただし、3D 視覚運動ポリシーはカメラのキャリブレーションと点群のセグメンテーションに依存することが多く、ヒューマノイドのようなモバイル ロボットへの展開には課題が生じます。
この研究では、自己中心的な 3D 視覚表現を活用することでこれらの制約を排除する新しい 3D 視覚運動ポリシーである、改良型 3D 拡散ポリシー (iDP3) を紹介します。
私たちは、iDP3 により、フルサイズの人型ロボットが、実験室で収集されたデータのみを使用して、現実世界のさまざまなシナリオで自律的にスキルを実行できることを実証します。
ビデオは https://humanoid-manipulation.github.io でご覧いただけます。

要約(オリジナル)

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google