Single-view Neural Radiance Fields with Depth Teacher

要約

タイトル：Single-view Neural Radiance Fields with Depth Teacher

要約：
– Neural Radiance Fields (NeRF)は、写真のような新しい視点の合成に使用されます。
– NeRFは、トレーニングには1つのシーンの多数の異なる視点が必要であり、新しいシーンへの一般化性が低く、再トレーニングまたは微調整が必要です。
– この論文では、1つの画像のみを入力として使用する新しいNeRFモデルを開発します。
– より高いレンダリング品質と一般的な良好性を実現するために、（粗い）平面レンダリングと（細かい）体積レンダリングを組み合わせることを提案しています。
– また、一貫した3Dジオメトリの学習を促進するために、密な擬似深度マップを予測する深度教師ネットを設計しています。
– この方法を3つの厳しいデータセットで評価した結果、他のシングルビューNeRFに比べて、PSNRで5〜20％の向上と深度レンダリングのエラーを20〜50％削減しました。
– また、再トレーニングや微調整なしでも、未知のデータへの優れた一般化能力を示しました。

要約(オリジナル)

Neural Radiance Fields (NeRF) have been proposed for photorealistic novel view rendering. However, it requires many different views of one scene for training. Moreover, it has poor generalizations to new scenes and requires retraining or fine-tuning on each scene. In this paper, we develop a new NeRF model for novel view synthesis using only a single image as input. We propose to combine the (coarse) planar rendering and the (fine) volume rendering to achieve higher rendering quality and better generalizations. We also design a depth teacher net that predicts dense pseudo depth maps to supervise the joint rendering mechanism and boost the learning of consistent 3D geometry. We evaluate our method on three challenging datasets. It outperforms state-of-the-art single-view NeRFs by achieving 5$\sim$20\% improvements in PSNR and reducing 20$\sim$50\% of the errors in the depth rendering. It also shows excellent generalization abilities to unseen data without the need to fine-tune on each new scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI