SGFeat: Salient Geometric Feature for Point Cloud Registration

要約

点群登録 (PCR) は、コンピューター ビジョンにおける重要かつ困難なタスクです。
PCR における主な困難の 1 つは、異なるスキャン間で一貫した意味論的および幾何学的特性を示す顕著で意味のある点を特定することです。
以前の方法では、点群全体にわたるパッチ ブロック間の類似性と、効率的な全体的な幾何学的一貫性が考慮されていないため、あいまいなマッチングという課題に直面していました。
これらの問題に対処するために、いくつかの新しい技術を含む新しいフレームワークを提案します。
まず、オブジェクト レベルとパッチ レベルのセマンティック情報を組み合わせる、セマンティックを意識した幾何学的エンコーダーを導入します。
このエンコーダは、パッチレベルのスーパーポイントマッチングにおける曖昧さを軽減することにより、レジストレーションリコールを大幅に改善します。
さらに、固有の形状シグネチャを利用して顕著な点を識別する事前知識アプローチを組み込みます。
これにより、シーン内で最も顕著なスーパー ポイントと意味のある密なポイントを抽出できます。
次に、高次 (HO) 幾何学的特徴をエンコードする革新的なトランスフォーマーを紹介します。
これらの特徴は、全体的な高次の幾何学的一貫性を考慮しながら、初期オーバーラップ領域内の顕著な点を特定するために重要です。
この高次トランスフォーマーをさらに最適化するために、アンカー ノード選択戦略を導入します。
これらのアンカーノードに基づいてフレーム間の三角形または多面体の一貫性特徴を符号化することにより、顕著なスーパーポイントの高次の幾何学的特徴を効果的に学習することができます。
これらの高次の特徴は密な点に伝播され、登録を成功させるための主要な対応関係を識別するために Sinkhorn マッチング モジュールによって利用されます。
3DMatch/3DLoMatch や KITTI などのよく知られたデータセットに対して行われた実験では、私たちのアプローチは有望な結果を示し、新しい方法の有効性が強調されました。

要約(オリジナル)

Point Cloud Registration (PCR) is a critical and challenging task in computer vision. One of the primary difficulties in PCR is identifying salient and meaningful points that exhibit consistent semantic and geometric properties across different scans. Previous methods have encountered challenges with ambiguous matching due to the similarity among patch blocks throughout the entire point cloud and the lack of consideration for efficient global geometric consistency. To address these issues, we propose a new framework that includes several novel techniques. Firstly, we introduce a semantic-aware geometric encoder that combines object-level and patch-level semantic information. This encoder significantly improves registration recall by reducing ambiguity in patch-level superpoint matching. Additionally, we incorporate a prior knowledge approach that utilizes an intrinsic shape signature to identify salient points. This enables us to extract the most salient super points and meaningful dense points in the scene. Secondly, we introduce an innovative transformer that encodes High-Order (HO) geometric features. These features are crucial for identifying salient points within initial overlap regions while considering global high-order geometric consistency. To optimize this high-order transformer further, we introduce an anchor node selection strategy. By encoding inter-frame triangle or polyhedron consistency features based on these anchor nodes, we can effectively learn high-order geometric features of salient super points. These high-order features are then propagated to dense points and utilized by a Sinkhorn matching module to identify key correspondences for successful registration. In our experiments conducted on well-known datasets such as 3DMatch/3DLoMatch and KITTI, our approach has shown promising results, highlighting the effectiveness of our novel method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google