VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction

要約

新しいビュー合成におけるニューラル ボリューム レンダリングの成功により、ボリューム レンダリングを使用したニューラルの暗黙的再構成が一般的になってきました。
ただし、ほとんどの方法はシーンごとの関数を最適化し、新しいシーンに一般化することはできません。
VolRecon は、Signed Ray Distance Function (SRDF) を使用した一般化可能な暗黙的な再構成手法です。
詳細でノイズの少ない再構成を行うために、ビュー トランスフォーマーを使用してマルチビュー フィーチャから集約された投影フィーチャと、粗いグローバル フィーチャ ボリュームから補間されたボリューム フィーチャを組み合わせます。
レイ トランスフォーマーは、レイに沿ったすべてのサンプルの SRDF 値を計算して、色と深度のボリューム レンダリングに使用されるサーフェスの位置を推定します。
DTU と ETH3D に関する広範な実験により、この方法の有効性と一般化能力が実証されています。
DTU では、スパース ビュー再構成で SparseNeuS よりも約 30% 優れており、フル ビュー再構成で MVSNet と同等の品質を達成しています。
さらに、私たちの方法は、大規模な ETH3D ベンチマークで優れた一般化能力を示しています。
プロジェクトページ: https://fangjinhuawang.github.io/VolRecon.

要約(オリジナル)

With the success of neural volume rendering in novel view synthesis, neural implicit reconstruction with volume rendering has become popular. However, most methods optimize per-scene functions and are unable to generalize to novel scenes. We introduce VolRecon, a generalizable implicit reconstruction method with Signed Ray Distance Function (SRDF). To reconstruct with fine details and little noise, we combine projection features, aggregated from multi-view features with a view transformer, and volume features interpolated from a coarse global feature volume. A ray transformer computes SRDF values of all the samples along a ray to estimate the surface location, which are used for volume rendering of color and depth. Extensive experiments on DTU and ETH3D demonstrate the effectiveness and generalization ability of our method. On DTU, our method outperforms SparseNeuS by about 30% in sparse view reconstruction and achieves comparable quality as MVSNet in full view reconstruction. Besides, our method shows good generalization ability on the large-scale ETH3D benchmark. Project page: https://fangjinhuawang.github.io/VolRecon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google