Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images

要約

拡張現実 (XR) の発展に伴い、ジオメトリの復元とハイ ダイナミック レンジ (HDR) 再構成に関するパノラマ イメージングの研究がトレンドになっています。
Neural Radiance Fields (NeRF) は、大規模な事前データを必要とせずに、両方のタスクに有望なシーン表現を提供します。
ただし、まばらなロー ダイナミック レンジ (LDR) パノラマ イメージを入力する場合、NeRF はジオメトリの拘束が不十分になると性能が低下することが多く、LDR 入力から HDR 放射輝度を再構成できません。
パノラマ画像の各ピクセルからの放射輝度は、シーンの照明情報を伝える信号と、他のピクセルを照らす光源の両方としてモデル化できることがわかりました。
したがって、我々は、まばらな LDR パノラマ画像からの放射照度フィールドを提案します。これにより、忠実なジオメトリの復元のための観測数が増加し、HDR 再構築のための放射照度 – 放射照度の減衰を活用できます。
広範な実験により、放射照度フィールドがジオメトリの復元と HDR 再構築の両方において最先端の方法よりも優れていることが実証され、その有効性が検証されています。
さらに、空間的に変化する照明推定の有望な副産物を示します。
コードは https://github.com/Lu-Zhan/Pano-NeRF で入手できます。

要約(オリジナル)

Panoramic imaging research on geometry recovery and High Dynamic Range (HDR) reconstruction becomes a trend with the development of Extended Reality (XR). Neural Radiance Fields (NeRF) provide a promising scene representation for both tasks without requiring extensive prior data. However, in the case of inputting sparse Low Dynamic Range (LDR) panoramic images, NeRF often degrades with under-constrained geometry and is unable to reconstruct HDR radiance from LDR inputs. We observe that the radiance from each pixel in panoramic images can be modeled as both a signal to convey scene lighting information and a light source to illuminate other pixels. Hence, we propose the irradiance fields from sparse LDR panoramic images, which increases the observation counts for faithful geometry recovery and leverages the irradiance-radiance attenuation for HDR reconstruction. Extensive experiments demonstrate that the irradiance fields outperform state-of-the-art methods on both geometry recovery and HDR reconstruction and validate their effectiveness. Furthermore, we show a promising byproduct of spatially-varying lighting estimation. The code is available at https://github.com/Lu-Zhan/Pano-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google