Zero-Shot Point Cloud Registration

要約

学習ベースの点群登録アプローチは、従来の点群登録アプローチを大幅に上回りました。
ただし、通常は、特定のデータセットに関する広範なトレーニングが必要です。
この論文では、点群データセットでのトレーニングの必要性を排除する初のゼロショット点群登録アプローチを提案します。
ZeroReg の基礎は、キーポイントから点群への画像特徴の新しい転送であり、3D 幾何学的近傍からの情報を集約することで強化されます。
具体的には、凍結された事前学習済み 2D バックボーンを使用して、2D 画像ペアからキーポイントと特徴を抽出します。
これらのフィーチャは 3D で投影され、隣接する点を検索してパッチが構築されます。
新しいパラメータフリーの幾何学デコーダを使用して、各点の幾何学的特徴と視覚的特徴を統合します。
続いて、点群間の対応関係を決定するタスクが最適輸送問題として定式化されます。
ZeroReg の広範な評価により、従来の方法と学習ベースの方法の両方に対して優れたパフォーマンスを示しています。
3DMatch、3DLoMatch、ScanNet などのベンチマークでは、ZeroReg はそれぞれ 84%、46%、75% を超える優れた再現率 (RR) を達成しています。

要約(オリジナル)

Learning-based point cloud registration approaches have significantly outperformed their traditional counterparts. However, they typically require extensive training on specific datasets. In this paper, we propose , the first zero-shot point cloud registration approach that eliminates the need for training on point cloud datasets. The cornerstone of ZeroReg is the novel transfer of image features from keypoints to the point cloud, enriched by aggregating information from 3D geometric neighborhoods. Specifically, we extract keypoints and features from 2D image pairs using a frozen pretrained 2D backbone. These features are then projected in 3D, and patches are constructed by searching for neighboring points. We integrate the geometric and visual features of each point using our novel parameter-free geometric decoder. Subsequently, the task of determining correspondences between point clouds is formulated as an optimal transport problem. Extensive evaluations of ZeroReg demonstrate its competitive performance against both traditional and learning-based methods. On benchmarks such as 3DMatch, 3DLoMatch, and ScanNet, ZeroReg achieves impressive Recall Ratios (RR) of over 84%, 46%, and 75%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google