DenseMatcher: Learning 3D Semantic Correspondence for Category-Level Manipulation from a Single Demo

要約

密な 3D 対応により、1 つの物体から目に見えない対応物への空間的、機能的、動的情報の一般化が可能になり、ロボット操作が強化されます。
形状の対応と比較して、意味論的な対応は、さまざまなオブジェクト カテゴリ間での一般化においてより効果的です。
この目的を達成するために、類似の構造を共有する野生のオブジェクト間の 3D 対応関係を計算できるメソッドである DenseMatcher を紹介します。
DenseMatcher は、まずマルチビュー 2D フィーチャをメッシュに投影し、3D ネットワークで洗練することで頂点フィーチャを計算し、次に関数マップを使用して取得されたフィーチャとの密な対応を見つけます。
さらに、さまざまなカテゴリにわたる色付きのオブジェクト メッシュを含む最初の 3D マッチング データセットを作成します。
私たちの実験では、DenseMatcher が以前の 3D マッチング ベースラインを 43.5% 大幅に上回るパフォーマンスを示しました。
我々は、(i) ロボット操作における DenseMatcher の下流の有効性を実証します。DenseMatcher は、1 つのデモのみを観察することで、長期にわたる複雑な操作タスクのクロスインスタンスおよびクロスカテゴリーの一般化を実現します。
(ii) デジタル資産間のゼロショット カラー マッピング。関連性のあるジオメトリを持つ異なるオブジェクト間で外観を転送できます。

要約(オリジナル)

Dense 3D correspondence can enhance robotic manipulation by enabling the generalization of spatial, functional, and dynamic information from one object to an unseen counterpart. Compared to shape correspondence, semantic correspondence is more effective in generalizing across different object categories. To this end, we present DenseMatcher, a method capable of computing 3D correspondences between in-the-wild objects that share similar structures. DenseMatcher first computes vertex features by projecting multiview 2D features onto meshes and refining them with a 3D network, and subsequently finds dense correspondences with the obtained features using functional map. In addition, we craft the first 3D matching dataset that contains colored object meshes across diverse categories. In our experiments, we show that DenseMatcher significantly outperforms prior 3D matching baselines by 43.5%. We demonstrate the downstream effectiveness of DenseMatcher in (i) robotic manipulation, where it achieves cross-instance and cross-category generalization on long-horizon complex manipulation tasks from observing only one demo; (ii) zero-shot color mapping between digital assets, where appearance can be transferred between different objects with relatable geometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google