Learning Deformable Hypothesis Sampling for Accurate PatchMatch Multi-View Stereo

要約

このペーパーでは、正確な PatchMatch マルチビュー ステレオ (MVS) のためのノイズの多い深度推定という困難な問題に対処する、学習可能な変形可能な仮説サンプラー (DeformSampler) を紹介します。
PatchMatch MVS ソルバーで採用されているヒューリスティック深度仮説サンプリング モードは、(i) オブジェクト表面全体にわたる深度の区分的滑らかな分布、および (ii) 光線に沿った深さ予測確率の暗黙的なマルチモーダル分布の影響を受けないことがわかります。
表面上の方向を指します。
したがって、分布に敏感なサンプル空間を学習して、(i) シーンのジオメトリと一致する深さをオブジェクト表面全体に伝播し、(ii) に沿って実際の深度の点ごとの確率分布に近づくラプラス混合モデルを適合する DeformSampler を開発します。
光線の方向。
DeformSampler を学習可能な PatchMatch MVS システムに統合して、区分的に不連続なサーフェス境界や弱いテクスチャ領域など、困難な領域での深度推定を強化します。
DTU および Tanks \& Temples データセットの実験結果は、最先端の競合他社と比較して、その優れたパフォーマンスと一般化機能を実証しています。
コードは https://github.com/Geo-Tell/DS-PMNet で入手できます。

要約(オリジナル)

This paper introduces a learnable Deformable Hypothesis Sampler (DeformSampler) to address the challenging issue of noisy depth estimation for accurate PatchMatch Multi-View Stereo (MVS). We observe that the heuristic depth hypothesis sampling modes employed by PatchMatch MVS solvers are insensitive to (i) the piece-wise smooth distribution of depths across the object surface, and (ii) the implicit multi-modal distribution of depth prediction probabilities along the ray direction on the surface points. Accordingly, we develop DeformSampler to learn distribution-sensitive sample spaces to (i) propagate depths consistent with the scene’s geometry across the object surface, and (ii) fit a Laplace Mixture model that approaches the point-wise probabilities distribution of the actual depths along the ray direction. We integrate DeformSampler into a learnable PatchMatch MVS system to enhance depth estimation in challenging areas, such as piece-wise discontinuous surface boundaries and weakly-textured regions. Experimental results on DTU and Tanks \& Temples datasets demonstrate its superior performance and generalization capabilities compared to state-of-the-art competitors. Code is available at https://github.com/Geo-Tell/DS-PMNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google