SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis

要約

限られた数のビューしか利用できない場合、Neural Radiance Field (NeRF) は大幅に低下します。
3D 情報の欠如を補うために、DSNeRF や MonoSDF などの深度ベースのモデルは、複数のビューの正確な深度マップが利用できることを明示的に想定しています。
彼らは、少数ショットの NeRF の予測される深度を導くために、監視として正確な深度マップを線形にスケーリングします。
ただし、正確な深度マップをキャプチャするのは困難であり、野生では深度距離が広範囲に及ぶため、費用がかかります。
この作業では、現実世界の不正確な観測からの深さの優先順位を利用する新しいスパース ビュー NeRF (SparseNeRF) フレームワークを提示します。
不正確な深度観測は、事前にトレーニングされた深度モデルまたは消費者レベルの深度センサーの粗い深度マップからのものです。
粗い深度マップはグラウンド トゥルース深度マップに厳密にスケーリングされていないため、NeRF の予想される深度ランキングが粗い深度マップの深度ランキングと一致するように、NeRF に対する単純で効果的な制約、ローカル深度ランキング法を提案します。
ローカルパッチで。
NeRF の推定深度の空間的連続性を維持するために、空間的連続性制約をさらに提案して、NeRF の予想される深度連続性と粗い深度マップとの一貫性を促進します。
驚くべきことに、SparseNeRF は、単純な深度ランキングの制約により、標準の LLFF および DTU データセットでのすべての最先端の少数ショット NeRF メソッド (深度ベースのモデルを含む) よりも優れています。
さらに、Azure Kinect、ZED 2、および iPhone 13 Pro からの実世界の深度マップを含む新しいデータセット NVS-RGBD を収集します。
NVS-RGBD データセットに関する広範な実験でも、SparseNeRF の優位性と一般化可能性が検証されています。
プロジェクト ページは https://sparsenerf.github.io/ にあります。

要約(オリジナル)

Neural Radiance Field (NeRF) significantly degrades when only a limited number of views are available. To complement the lack of 3D information, depth-based models, such as DSNeRF and MonoSDF, explicitly assume the availability of accurate depth maps of multiple views. They linearly scale the accurate depth maps as supervision to guide the predicted depth of few-shot NeRFs. However, accurate depth maps are difficult and expensive to capture due to wide-range depth distances in the wild. In this work, we present a new Sparse-view NeRF (SparseNeRF) framework that exploits depth priors from real-world inaccurate observations. The inaccurate depth observations are either from pre-trained depth models or coarse depth maps of consumer-level depth sensors. Since coarse depth maps are not strictly scaled to the ground-truth depth maps, we propose a simple yet effective constraint, a local depth ranking method, on NeRFs such that the expected depth ranking of the NeRF is consistent with that of the coarse depth maps in local patches. To preserve the spatial continuity of the estimated depth of NeRF, we further propose a spatial continuity constraint to encourage the consistency of the expected depth continuity of NeRF with coarse depth maps. Surprisingly, with simple depth ranking constraints, SparseNeRF outperforms all state-of-the-art few-shot NeRF methods (including depth-based models) on standard LLFF and DTU datasets. Moreover, we collect a new dataset NVS-RGBD that contains real-world depth maps from Azure Kinect, ZED 2, and iPhone 13 Pro. Extensive experiments on NVS-RGBD dataset also validate the superiority and generalizability of SparseNeRF. Project page is available at https://sparsenerf.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google