PCR-CG: Point Cloud Registration via Deep Explicit Color and Geometry

要約

この論文では、PCR-CG を紹介します。これは、ジオメトリ表現に色信号を明示的に埋め込む新しい 3D 点群登録モジュールです。
ジオメトリ表現のみを使用する以前の方法とは異なり、私たちのモジュールは、点群登録タスクのために色をジオメトリに効果的に関連付けるように特別に設計されています。
私たちの主な貢献は、色信号から学習した深い特徴をジオメトリ表現に埋め込む 2D-3D クロスモダリティ学習アルゴリズムです。
当社が設計した 2D-3D 投影モジュールを使用すると、画像から認識される対応関係を中心とする正方形領域内のピクセル特徴が点群と効果的に関連付けられます。
このようにして、重なった領域は点群だけでなくテクスチャの外観からも推測できます。
色を追加するのは簡単ではありません。
暗黙的な方法でピクセルごとの特徴や RGB 値を徹底的に追加するなど、3D に色を追加するために設計されたさまざまなベースラインと比較します。
私たちは Predator [25] をベースライン手法として利用し、それに私たちが提案するモジュールを組み込みます。
2D 特徴の有効性を検証するために、さまざまな 2D 事前トレーニング済みネットワークをアブレーションし、事前トレーニング済みの重みとタスクのパフォーマンスの間に正の相関があることを示します。
私たちの実験結果は、3DLoMatch ベンチマークのベースライン手法と比較して、登録再現率が 6.5% 大幅に改善されたことを示しています。
さらに、SOTA 手法に関するアプローチを評価し、GeoTransformer と比較して 2.4% の登録再現率の改善、CoFiNet と比較して 3.5% の登録再現率の改善など、一貫した改善を観察しました。
私たちの研究では、登録タスクにおいて明示的な深い色の特徴を点群に相関させることの重要な利点が明らかになりました。

要約(オリジナル)

In this paper, we introduce PCR-CG: a novel 3D point cloud registration module explicitly embedding the color signals into the geometry representation. Different from previous methods that only use geometry representation, our module is specifically designed to effectively correlate color into geometry for the point cloud registration task. Our key contribution is a 2D-3D cross-modality learning algorithm that embeds the deep features learned from color signals to the geometry representation. With our designed 2D-3D projection module, the pixel features in a square region centered at correspondences perceived from images are effectively correlated with point clouds. In this way, the overlapped regions can be inferred not only from point cloud but also from the texture appearances. Adding color is non-trivial. We compare against a variety of baselines designed for adding color to 3D, such as exhaustively adding per-pixel features or RGB values in an implicit manner. We leverage Predator [25] as the baseline method and incorporate our proposed module onto it. To validate the effectiveness of 2D features, we ablate different 2D pre-trained networks and show a positive correlation between the pre-trained weights and the task performance. Our experimental results indicate a significant improvement of 6.5% registration recall over the baseline method on the 3DLoMatch benchmark. We additionally evaluate our approach on SOTA methods and observe consistent improvements, such as an improvement of 2.4% registration recall over GeoTransformer as well as 3.5% over CoFiNet. Our study reveals a significant advantages of correlating explicit deep color features to the point cloud in the registration task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google