Multiscale Tensor Decomposition and Rendering Equation Encoding for View Synthesis

要約

キャプチャされたマルチビュー画像からの新しいビューのレンダリングは、神経放射輝度場の出現以来、かなりの進歩を遂げました。
この論文は、特徴空間のシーンを表すニューラル放射輝度特徴フィールド (NRFF) と呼ばれる新しいアプローチを提案することにより、ビュー レンダリングの品質をさらに向上させることを目的としています。
最初に、粗いスケールから細かいスケールまでのシーンを表すために、学習可能な特徴を整理するマルチスケール テンソル分解スキームを提案します。
提案されたマルチスケール表現の多くの利点を示します。これには、シングルスケール表現と比較して、シーンの形状と外観の再構築がより正確になり、収束が速くなります。
ビュー方向をエンコードしてビュー依存効果をモデル化する代わりに、提案されたマルチスケール表現から予測された異方性球状ガウス混合を使用して、特徴空間でレンダリング方程式をエンコードすることをさらに提案します。
提案された NRFF は、NeRF と NSVF 合成データセットの両方で、最先端のレンダリング結果を PSNR で 1 dB 以上改善します。
現実世界の Tanks and Temples データセットでも大幅な改善が見られました。

要約(オリジナル)

Rendering novel views from captured multi-view images has made considerable progress since the emergence of the neural radiance field. This paper aims to further advance the quality of view rendering by proposing a novel approach dubbed the neural radiance feature field (NRFF) which represents scenes in the feature space. We first propose a multiscale tensor decomposition scheme to organize learnable features so as to represent scenes from coarse to fine scales. We demonstrate many benefits of the proposed multiscale representation, including more accurate scene shape and appearance reconstruction, and faster convergence compared with the single-scale representation. Instead of encoding view directions to model view-dependent effects, we further propose to encode the rendering equation in the feature space by employing the anisotropic spherical Gaussian mixture predicted from the proposed multiscale representation. The proposed NRFF improves state-of-the-art rendering results by over 1 dB in PSNR on both the NeRF and NSVF synthetic datasets. A significant improvement has also been observed on the real-world Tanks and Temples dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google