3D Focusing-and-Matching Network for Multi-Instance Point Cloud Registration

要約

マルチインスタンス点群登録は、シーン全体のモデル点群のすべてのインスタンスの姿勢を推定することを目的としています。
既存の方法はすべて、最初にグローバル対応を取得し、次にクラスタリングして各インスタンスの姿勢を取得するという戦略を採用しています。
ただし、シーン内のオブジェクトが乱雑で遮蔽されているため、モデル点群とシーン内のすべてのインスタンスの間の正確な対応関係を取得することは困難です。
この目的を達成するために、複数のペアごとの点群登録を学習することにより、マルチインスタンス点群登録のためのシンプルかつ強力な 3D 焦点合わせマッチング ネットワークを提案します。
具体的には、まず、各オブジェクトの中心を特定し、オブジェクトの提案を生成する 3D マルチオブジェクト フォーカス モジュールを提示します。
自己注意と相互注意を使用してモデル点群を構造的に類似したオブジェクトと関連付けることにより、オブジェクトの中心を回帰することによって潜在的な一致するインスタンスを見つけることができます。
次に、モデル点群と各オブジェクト提案の間の姿勢を推定するための 3D デュアル マスキング インスタンス マッチング モジュールを提案します。
インスタンス マスクとオーバーラップ マスク マスクを実行して、ペアごとの対応を正確に予測します。
Scan2CAD と ROBI という 2 つの公開ベンチマークでの広範な実験により、私たちの方法がマルチインスタンス点群登録タスクで新しい最先端のパフォーマンスを達成できることがわかりました。
コードは https://github.com/zlynpu/3DFMNet で入手できます。

要約(オリジナル)

Multi-instance point cloud registration aims to estimate the pose of all instances of a model point cloud in the whole scene. Existing methods all adopt the strategy of first obtaining the global correspondence and then clustering to obtain the pose of each instance. However, due to the cluttered and occluded objects in the scene, it is difficult to obtain an accurate correspondence between the model point cloud and all instances in the scene. To this end, we propose a simple yet powerful 3D focusing-and-matching network for multi-instance point cloud registration by learning the multiple pair-wise point cloud registration. Specifically, we first present a 3D multi-object focusing module to locate the center of each object and generate object proposals. By using self-attention and cross-attention to associate the model point cloud with structurally similar objects, we can locate potential matching instances by regressing object centers. Then, we propose a 3D dual masking instance matching module to estimate the pose between the model point cloud and each object proposal. It performs instance mask and overlap mask masks to accurately predict the pair-wise correspondence. Extensive experiments on two public benchmarks, Scan2CAD and ROBI, show that our method achieves a new state-of-the-art performance on the multi-instance point cloud registration task. Code is available at https://github.com/zlynpu/3DFMNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google