SRFeat: Learning Locally Accurate and Globally Consistent Non-Rigid Shape Correspondence

要約

この作業では、堅牢な非剛体マッチングのために、対照的な学習のローカル精度と幾何学的アプローチのグローバルな一貫性を組み合わせた新しい学習ベースのフレームワークを提示します。
対照的な学習は強力な点ごとの機能につながる可能性がありますが、標準的な対照的な損失の純粋な組み合わせの性質により、学習された対応は一般に滑らかさと一貫性に欠けることを最初に観察します。
この制限を克服するために、幾何学的情報を対応学習に注入する 2 種類の滑らかさの正則化を使用して、対照的な特徴学習を強化することを提案します。
この新しい組み合わせを使用すると、結果として得られる特徴は、個々のポイント間で非常に識別可能であると同時に、単純な近接クエリを通じて、堅牢で一貫した対応につながります。
私たちのフレームワークは一般的であり、3D と 2D の両方のドメインでの局所特徴学習に適用できます。
3D 非剛体形状対応や 2D 画像キーポイント マッチングなど、さまざまな挑戦的なマッチング ベンチマークでの広範な実験を通じて、アプローチの優位性を実証します。

要約(オリジナル)

In this work, we present a novel learning-based framework that combines the local accuracy of contrastive learning with the global consistency of geometric approaches, for robust non-rigid matching. We first observe that while contrastive learning can lead to powerful point-wise features, the learned correspondences commonly lack smoothness and consistency, owing to the purely combinatorial nature of the standard contrastive losses. To overcome this limitation we propose to boost contrastive feature learning with two types of smoothness regularization that inject geometric information into correspondence learning. With this novel combination in hand, the resulting features are both highly discriminative across individual points, and, at the same time, lead to robust and consistent correspondences, through simple proximity queries. Our framework is general and is applicable to local feature learning in both the 3D and 2D domains. We demonstrate the superiority of our approach through extensive experiments on a wide range of challenging matching benchmarks, including 3D non-rigid shape correspondence and 2D image keypoint matching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google