MVPSNet: Fast Generalizable Multi-view Photometric Stereo

要約

私たちは、MVPSNet と呼ばれる、マルチビュー フォトメトリック ステレオ (MVPS) に対する高速かつ汎用性の高いソリューションを提案します。
私たちのアプローチの鍵となるのは、複数の照明条件下で撮影された同じビューからの画像を効果的に組み合わせて、ステレオ マッチングのためのシェーディング キューから幾何学的特徴を抽出する特徴抽出ネットワークです。
我々は、「Light Aggregated Feature Maps」(LAFM) と呼ばれるこれらの機能が、従来のマルチビュー ステレオ手法が機能しないテクスチャのない領域でも特徴マッチングに効果的であることを実証します。
私たちの手法は、シーンごとにニューラル ネットワークを最適化する最先端の MVPS 手法である PS-NeRF と同様の再構成結果を生成し、推論では 411 倍高速 (105 秒対 12 時間) です。
さらに、MVPS 用の新しい合成データセットである sMVPS を導入します。これは、一般化可能な MVPS 手法をトレーニングするのに効果的であることが示されています。

要約(オリジナル)

We propose a fast and generalizable solution to Multi-view Photometric Stereo (MVPS), called MVPSNet. The key to our approach is a feature extraction network that effectively combines images from the same view captured under multiple lighting conditions to extract geometric features from shading cues for stereo matching. We demonstrate these features, termed `Light Aggregated Feature Maps’ (LAFM), are effective for feature matching even in textureless regions, where traditional multi-view stereo methods fail. Our method produces similar reconstruction results to PS-NeRF, a state-of-the-art MVPS method that optimizes a neural network per-scene, while being 411$\times$ faster (105 seconds vs. 12 hours) in inference. Additionally, we introduce a new synthetic dataset for MVPS, sMVPS, which is shown to be effective to train a generalizable MVPS method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google