Leveraging SE(3) Equivariance for Learning 3D Geometric Shape Assembly

要約

形状の組み立ては、部品 (または断片) を完全なオブジェクトに再組み立てすることを目的としています。これは、私たちの日常生活でよく行われる作業です。
意味的パーツの組み立て (例: 脚などの椅子の意味的パーツを組み立てて椅子全体にする) とは異なり、幾何学的パーツの組み立て (例: ボウルの断片を組み立てて完全なボウルにする) は、コンピューター ビジョンとロボット工学における新たなタスクです。
このタスクでは、意味情報ではなく、部品の幾何学的情報に焦点を当てます。
破損した部品の幾何学的空間と姿勢空間の両方が非常に大きいため、部品表現の形状姿勢の解きほぐしは幾何学的形状の組み立てに有益です。
私たちの論文では、このような形状ポーズのもつれ解除に SE(3) 等分散を利用することを提案します。
さらに、ビジョンとロボット工学における以前の研究では、単一のオブジェクトの表現についてのみ SE(3) 等分散性が考慮されていましたが、私たちは一歩前進して、複数の部分の相関関係を考慮した表現に SE(3) 等分散性を活用することを提案します。これにより、パフォーマンスがさらに向上します。
複数の部品からなるアセンブリ。
実験は、SE(3) 等分散の重要性と、幾何学的形状アセンブリのための提案された方法を実証します。
プロジェクトページ: https://crtie.github.io/SE-3-part-assembly/

要約(オリジナル)

Shape assembly aims to reassemble parts (or fragments) into a complete object, which is a common task in our daily life. Different from the semantic part assembly (e.g., assembling a chair’s semantic parts like legs into a whole chair), geometric part assembly (e.g., assembling bowl fragments into a complete bowl) is an emerging task in computer vision and robotics. Instead of semantic information, this task focuses on geometric information of parts. As the both geometric and pose space of fractured parts are exceptionally large, shape pose disentanglement of part representations is beneficial to geometric shape assembly. In our paper, we propose to leverage SE(3) equivariance for such shape pose disentanglement. Moreover, while previous works in vision and robotics only consider SE(3) equivariance for the representations of single objects, we move a step forward and propose leveraging SE(3) equivariance for representations considering multi-part correlations, which further boosts the performance of the multi-part assembly. Experiments demonstrate the significance of SE(3) equivariance and our proposed method for geometric shape assembly. Project page: https://crtie.github.io/SE-3-part-assembly/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google