ResNeRF: Geometry-Guided Residual Neural Radiance Field for Indoor Scene Novel View Synthesis

要約

私たちは、屋内シーンの新しいビュー合成のための新しいジオメトリに基づく 2 段階フレームワークである ResNeRF を代表します。
優れたジオメトリは新しいビュー合成のパフォーマンスを大幅に向上させることに注意してください。また、ジオメトリの曖昧さの問題を回避するために、シーンのジオメトリから推定された基本密度と、次のようにパラメータ化された残留密度に基づいてシーンの密度分布を特徴付けることを提案します。
ジオメトリ。
最初の段階では、SDF 表現に基づいたジオメトリの再構成に焦点を当てます。これにより、シーンの良好なジオメトリ サーフェスとシャープな密度が得られます。
第 2 段階では、外観に関するより詳細な情報をエンコードするために、第 1 段階で学習した SDF に基づいて残留密度が学習されます。
このようにして、私たちの方法は、3D 構造を維持しながら、高忠実度の新しいビュー合成を行う前に、ジオメトリの密度分布をより適切に学習できます。
あまり観察されずテクスチャのない領域を多く含む大規模な屋内シーンでの実験では、優れた 3D サーフェスを使用して、私たちの方法が新しいビュー合成の最先端のパフォーマンスを達成できることを示しています。

要約(オリジナル)

We represent the ResNeRF, a novel geometry-guided two-stage framework for indoor scene novel view synthesis. Be aware of that a good geometry would greatly boost the performance of novel view synthesis, and to avoid the geometry ambiguity issue, we propose to characterize the density distribution of the scene based on a base density estimated from scene geometry and a residual density parameterized by the geometry. In the first stage, we focus on geometry reconstruction based on SDF representation, which would lead to a good geometry surface of the scene and also a sharp density. In the second stage, the residual density is learned based on the SDF learned in the first stage for encoding more details about the appearance. In this way, our method can better learn the density distribution with the geometry prior for high-fidelity novel view synthesis while preserving the 3D structures. Experiments on large-scale indoor scenes with many less-observed and textureless areas show that with the good 3D surface, our method achieves state-of-the-art performance for novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google