Single-view Neural Radiance Fields with Depth Teacher

要約

Neural Radiance Fields (NeRF) は、フォトリアリスティックで斬新なビュー レンダリングのために提案されています。
ただし、トレーニングには 1 つのシーンのさまざまなビューが必要です。
さらに、新しいシーンへの一般化が不十分であり、各シーンで再トレーニングまたは微調整が必​​要です。
この論文では、入力として単一の画像のみを使用して、新しいビュー合成のための新しい NeRF モデルを開発します。
(粗い) 平面レンダリングと (細かい) ボリューム レンダリングを組み合わせて、より高いレンダリング品質とより良い一般化を実現することを提案します。
また、密な疑似深度マップを予測してジョイント レンダリング メカニズムを監視し、一貫した 3D ジオメトリの学習を促進する深度教師ネットも設計します。
3 つの挑戦的なデータセットでメソッドを評価します。
PSNR で 5$\sim$20\% の改善を達成し、深度レンダリングのエラーを 20$\sim$50\% 削減することで、最先端のシングルビュー NeRF よりも優れています。
また、新しいシーンごとに微調整する必要なく、目に見えないデータに優れた一般化機能を示します。

要約(オリジナル)

Neural Radiance Fields (NeRF) have been proposed for photorealistic novel view rendering. However, it requires many different views of one scene for training. Moreover, it has poor generalizations to new scenes and requires retraining or fine-tuning on each scene. In this paper, we develop a new NeRF model for novel view synthesis using only a single image as input. We propose to combine the (coarse) planar rendering and the (fine) volume rendering to achieve higher rendering quality and better generalizations. We also design a depth teacher net that predicts dense pseudo depth maps to supervise the joint rendering mechanism and boost the learning of consistent 3D geometry. We evaluate our method on three challenging datasets. It outperforms state-of-the-art single-view NeRFs by achieving 5$\sim$20\% improvements in PSNR and reducing 20$\sim$50\% of the errors in the depth rendering. It also shows excellent generalization abilities to unseen data without the need to fine-tune on each new scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google