HRF-Net: Holistic Radiance Fields from Sparse Inputs

要約

本論文では、全体的な輝度場に基づく新しいビュー合成法であるHRF-Netを紹介し、疎な入力の集合を使用して新しいビューをレンダリングする。最近の一般化ビュー合成法も輝度場を利用しているが、レンダリング速度はリアルタイムではない。また、既存の手法でも、新しいビューを効率的に学習しレンダリングするものはあるが、未視認シーンへの汎化には限界がある。我々のアプローチは、汎化ビュー合成のためのリアルタイムレンダリングの問題に対処するもので、全体的な輝度場予測器と畳み込みベースのニューラルレンダラーの2つの主要ステージで構成される。このアーキテクチャは、暗黙的なニューラルフィールドに基づき一貫したシーンジオメトリを推論するだけでなく、単一のGPUを使用して新しいビューを効率的にレンダリングします。我々はまず、DTUデータセットの複数の3DシーンでHRF-Netを訓練し、ネットワークは測光損失のみを使用して、未見の実データと合成データに対して、もっともらしい新しいビューを生成することができます。さらに、本手法は、1つのシーンのより高密度な参照画像セットを活用することで、追加の明示的な表現に頼ることなく、正確な新規ビューを生成でき、かつ事前学習されたモデルの高速レンダリングを維持することができる。実験の結果、HRF-Netは様々な合成および実データセットにおいて、最先端の一般化可能なニューラルレンダリング手法を凌駕することが示された。

要約(オリジナル)

We present HRF-Net, a novel view synthesis method based on holistic radiance fields that renders novel views using a set of sparse inputs. Recent generalizing view synthesis methods also leverage the radiance fields but the rendering speed is not real-time. There are existing methods that can train and render novel views efficiently but they can not generalize to unseen scenes. Our approach addresses the problem of real-time rendering for generalizing view synthesis and consists of two main stages: a holistic radiance fields predictor and a convolutional-based neural renderer. This architecture infers not only consistent scene geometry based on the implicit neural fields but also renders new views efficiently using a single GPU. We first train HRF-Net on multiple 3D scenes of the DTU dataset and the network can produce plausible novel views on unseen real and synthetics data using only photometric losses. Moreover, our method can leverage a denser set of reference images of a single scene to produce accurate novel views without relying on additional explicit representations and still maintains the high-speed rendering of the pre-trained model. Experimental results show that HRF-Net outperforms state-of-the-art generalizable neural rendering methods on various synthetic and real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL