NeRF-SR: High-Quality Neural Radiance Fields using Supersampling

要約

NeRF-SRは、主に低解像度（LR）入力を使用した高解像度（HR）の新しいビュー合成のソリューションです。
私たちの方法は、多層パーセプトロンを使用してポイントごとの密度と色を予測する神経放射輝度フィールド（NeRF）に基づいて構築されています。
NeRFは、任意の縮尺で画像を生成する一方で、観察された画像を超える解像度に苦労しています。
私たちの重要な洞察は、NeRFが3Dの一貫性の恩恵を受けていることです。つまり、観測されたピクセルが近くのビューから情報を吸収します。
最初に、各画像ピクセルで複数の光線を発射するスーパーサンプリング戦略によってそれを活用します。これにより、サブピクセルレベルでマルチビュー制約がさらに適用されます。
次に、NeRF-SRが、手元の推定深度を活用して1つのHR参照画像のみの関連パッチから詳細を幻覚化するリファインメントネットワークによって、スーパーサンプリングのパフォーマンスをさらに向上できることを示します。
実験結果は、NeRF-SRが、外部情報なしで、合成データセットと実世界のデータセットの両方で、HRでの新しいビュー合成に対して高品質の結果を生成することを示しています。

要約(オリジナル)

We present NeRF-SR, a solution for high-resolution (HR) novel view synthesis with mostly low-resolution (LR) inputs. Our method is built upon Neural Radiance Fields (NeRF) that predicts per-point density and color with a multi-layer perceptron. While producing images at arbitrary scales, NeRF struggles with resolutions that go beyond observed images. Our key insight is that NeRF benefits from 3D consistency, which means an observed pixel absorbs information from nearby views. We first exploit it by a supersampling strategy that shoots multiple rays at each image pixel, which further enforces multi-view constraint at a sub-pixel level. Then, we show that NeRF-SR can further boost the performance of supersampling by a refinement network that leverages the estimated depth at hand to hallucinate details from related patches on only one HR reference image. Experiment results demonstrate that NeRF-SR generates high-quality results for novel view synthesis at HR on both synthetic and real-world datasets without any external information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google