NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds

要約

タイトル：ジオメトリースキャフォールドを介した自由視点合成のためのニューラル放射論理(NeRF)VS

要約：
– NeRFVSは、ニューラル放射論理(NeRF)をベースにした新しい手法であり、部屋内の自由なナビゲーションを可能にするものです。
– NeRFは、トレーニングビューに似た新しいビューのレンダリングにおいて印象的な性能を発揮しますが、トレーニングビューと著しく異なる新しいビューでは問題が発生します。
– この問題に対処するため、ニューラル再構築から擬似深度マップとビューカバレッジ情報などの包括的な事前知識を利用して、3D室内シーンの暗黙のニューラル表現学習を指導する方法を提案しています。
– 具体的には、オフシェルフのニューラル再構築方法を利用して、ジオメトリスキャフォールドを生成します。
– そして、2つの損失関数が提案されています。1）擬似深度マップの誤差を許容し、NeRFのジオメトリ学習を指導することができる堅牢な深度損失。2）暗黙のニューラル表現の分散を制御し、学習手続きのジオメトリと色のあいまいさを軽減する分散損失。これらの2つの損失関数は、ビューカバレッジ情報に応じてNeRF最適化中に調整されます。
– 多数の結果は、NeRFVSが室内シーンにおいて量的および質的に最先端のビュー合成手法よりも優れた性能を発揮し、高品質な自由ナビゲーション結果を実現していることを示しています。

要約(オリジナル)

We present NeRFVS, a novel neural radiance fields (NeRF) based method to enable free navigation in a room. NeRF achieves impressive performance in rendering images for novel views similar to the input views while suffering for novel views that are significantly different from the training views. To address this issue, we utilize the holistic priors, including pseudo depth maps and view coverage information, from neural reconstruction to guide the learning of implicit neural representations of 3D indoor scenes. Concretely, an off-the-shelf neural reconstruction method is leveraged to generate a geometry scaffold. Then, two loss functions based on the holistic priors are proposed to improve the learning of NeRF: 1) A robust depth loss that can tolerate the error of the pseudo depth map to guide the geometry learning of NeRF; 2) A variance loss to regularize the variance of implicit neural representations to reduce the geometry and color ambiguity in the learning procedure. These two loss functions are modulated during NeRF optimization according to the view coverage information to reduce the negative influence brought by the view coverage imbalance. Extensive results demonstrate that our NeRFVS outperforms state-of-the-art view synthesis methods quantitatively and qualitatively on indoor scenes, achieving high-fidelity free navigation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI