Deep Kernelized Dense Geometric Matching

要約

幾何学的マッチングは、3Dシーンの2つのビューの間の対応を見つけることを含む挑戦的なコンピュータビジョンタスクです。密な幾何学的マッチング、すなわち、すべてのマッチングピクセルを見つけることは、とりわけ、サブピクセルの精度と低テクスチャロバスト性の能力のために、魅力的なアプローチである。これまでの研究で、スパースおよびセミスパース手法は、密な手法よりも幾何学的推定に適していることが示されているが、我々はそれらを凌駕する新しい密な手法を提案する。我々は、典型的な相関ボリューム処理とは対照的に、密なグローバルマッチングをディープカーネルを用いた確率的回帰タスクとして定式化することにより、これを達成する。さらに、絞り込み段階で局所相関をワープした特徴量のスタッキングに置き換えることで、性能をさらに向上させることを示す。最後に、モデルの信頼度を系統的に減衰させることで、ジオメトリ推定結果が改善されることを観察する。我々の完全なアプローチである$textbf{D}$eep $eep $textbf{K}$ernelized Dense Geometric $textbf{M}$atchingは、競合するHPatches、YFCC100m、MegaDepth-1500、ScanNet-1500形状推定ベンチマークで新しい最先端を設定する。全ての実験のコード、データセットのダウンロード方法、事前学習済みモデルについては、https://github.com/Parskatt/dkm で提供しています。

要約(オリジナル)

Geometric matching is a challenging computer vision task that involves finding correspondences between two views of a 3D scene. Dense geometric matching, i.e., finding every matching pixel, is an appealing approach due to, among other things, the capacity for sub-pixel accuracy and low-texture robustness. While previous results have shown that sparse and semi-sparse methods are better suited than dense approaches for geometry estimation, we propose a novel dense method that outperforms them. We accomplish this by formulating dense global matching as a probabilistic regression task using deep kernels, in contrast to typical correlation volume processing. Furthermore, we show that replacing local correlation with warped feature stacking in the refinement stage further boosts performance. Finally, we observe that a systematic attenuation of the model confidence improves geometry estimation results. Our full approach, $\textbf{D}$eep $\textbf{K}$ernelized Dense Geometric $\textbf{M}$atching, sets a new state-of-the-art on the competitive HPatches, YFCC100m, MegaDepth-1500, and ScanNet-1500 geometry estimation benchmarks. We provide code for all our experiments, instructions for downloading datasets, and pretrained models, at https://github.com/Parskatt/dkm

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL