USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation

要約

ロボットは、単一のオブジェクト インスタンスでポーズをつかむという単なるデモンストレーションの助けを借りて、カテゴリ内の目に見えないオブジェクトを任意のポーズで操作できますか?
このホワイト ペーパーでは、USEEK を使用して、この興味深い課題に対処しようとします。USEEK は、カテゴリ内のインスタンス間でアライメントを行う教師なし SE(3) 等変キーポイント メソッドであり、一般化可能な操作を実行します。
USEEK は、教師と生徒の構造に従って、教師なしキーポイント検出と SE(3) 等価キーポイント検出を分離します。
USEEK を使用すると、ロボットは効率的かつ説明可能な方法でカテゴリ レベルのタスク関連オブジェクト フレームを推測し、任意のポーズから、および任意のポーズへの任意のカテゴリ内オブジェクトの操作を可能にします。
広範な実験を通じて、USEEKによって生成されたキーポイントが豊富なセマンティクスを持っていることを実証し、機能的な知識をデモンストレーションオブジェクトから新しいものにうまく移すことができます。
操作のための他のオブジェクト表現と比較して、USEEK は大きなカテゴリ内形状分散に直面した場合により適応的であり、限られたデモンストレーションでより堅牢であり、推論時間により効率的です。

要約(オリジナル)

Can a robot manipulate intra-category unseen objects in arbitrary poses with the help of a mere demonstration of grasping pose on a single object instance? In this paper, we try to address this intriguing challenge by using USEEK, an unsupervised SE(3)-equivariant keypoints method that enjoys alignment across instances in a category, to perform generalizable manipulation. USEEK follows a teacher-student structure to decouple the unsupervised keypoint discovery and SE(3)-equivariant keypoint detection. With USEEK in hand, the robot can infer the category-level task-relevant object frames in an efficient and explainable manner, enabling manipulation of any intra-category objects from and to any poses. Through extensive experiments, we demonstrate that the keypoints produced by USEEK possess rich semantics, thus successfully transferring the functional knowledge from the demonstration object to the novel ones. Compared with other object representations for manipulation, USEEK is more adaptive in the face of large intra-category shape variance, more robust with limited demonstrations, and more efficient at inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google