Generalizable Humanoid Manipulation with 3D Diffusion Policies

要約

多様な環境で自律的な操作が可能なヒューマノイドロボットは、長い間ロボット奏者の目標となっています。
ただし、ヒューマノイドロボットによる自律的な操作は、主に一般化可能なスキルを習得することの難しさと、ワイルドヒューマノイドロボットデータの高価のために、1つの特定のシーンに大部分が制限されています。
この作業では、この挑戦​​的な問題に対処するための現実世界のロボットシステムを構築します。
私たちのシステムは、主に1）人間のようなロボットデータを取得するための全枝全身ロボットテレオペレーションシステムの統合です。
ヒューマノイドロボットの3D拡散ポリシー学習アルゴリズムが改善され、騒々しい人間のデータから学習しました。
厳密なポリシー評価のために、実際のロボットで2000以上のポリシーロールアウトエピソードを実行しています。
このシステムに力を与え、1つのシーンで収集されたデータのみを使用して、オンボードコンピューティングのみを使用して、フルサイズのヒューマノイドロボットが多様な現実世界のシナリオでスキルを自律的に実行できることを示しています。
ビデオは\ href {https://humanoid-manipulation.github.io} {Humanoid-manipulation.github.io}で入手できます。

要約(オリジナル)

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills and the expensiveness of in-the-wild humanoid robot data. In this work, we build a real-world robotic system to address this challenging problem. Our system is mainly an integration of 1) a whole-upper-body robotic teleoperation system to acquire human-like robot data, 2) a 25-DoF humanoid robot platform with a height-adjustable cart and a 3D LiDAR sensor, and 3) an improved 3D Diffusion Policy learning algorithm for humanoid robots to learn from noisy human data. We run more than 2000 episodes of policy rollouts on the real robot for rigorous policy evaluation. Empowered by this system, we show that using only data collected in one single scene and with only onboard computing, a full-sized humanoid robot can autonomously perform skills in diverse real-world scenarios. Videos are available at \href{https://humanoid-manipulation.github.io}{humanoid-manipulation.github.io}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google