Aleth-NeRF: Illumination Adaptive NeRF with Concealing Field Assumption

要約

標準の Neural Radiance Fields (NeRF) パラダイムは、観察者中心の方法論を採用しており、照明とマテリアルの反射率の側面を 3D ポイントのみからの発光に組み込みます。
この単純化されたレンダリング手法では、低照度や露出過剰などの悪条件下で撮影された画像を正確にモデリングする際に課題が生じます。
目から発せられる光線の結果として視覚が認識されると仮定する古代ギリシャの発光理論に動機づけられ、私たちは従来の NeRF フレームワークをわずかに改良して、困難な光条件下で NeRF をトレーニングし、教師なしで通常の光条件で新しいビューを生成します。
照明効果を考慮して周囲の空気に透過率値を割り当てる「隠蔽フィールド」の概念を導入します。
暗いシナリオでは、オブジェクトの発光は標準の照明レベルを維持しますが、レンダリング プロセス中に空気を通過するときに減衰すると想定します。
したがって、隠蔽フィールドにより、NeRF は薄暗い状況でもオブジェクトの適切な密度と色の推定を学習するようになります。
同様に、Concealing Field は、レンダリング段階での露出過度の放出を軽減できます。
さらに、評価のために厳しい照明条件下で撮影された包括的なマルチビュー データセットを提示します。
コードとデータセットは https://github.com/cuiziteng/Aleth-NeRF で入手できます

要約(オリジナル)

The standard Neural Radiance Fields (NeRF) paradigm employs a viewer-centered methodology, entangling the aspects of illumination and material reflectance into emission solely from 3D points. This simplified rendering approach presents challenges in accurately modeling images captured under adverse lighting conditions, such as low light or over-exposure. Motivated by the ancient Greek emission theory that posits visual perception as a result of rays emanating from the eyes, we slightly refine the conventional NeRF framework to train NeRF under challenging light conditions and generate normal-light condition novel views unsupervised. We introduce the concept of a ‘Concealing Field,’ which assigns transmittance values to the surrounding air to account for illumination effects. In dark scenarios, we assume that object emissions maintain a standard lighting level but are attenuated as they traverse the air during the rendering process. Concealing Field thus compel NeRF to learn reasonable density and colour estimations for objects even in dimly lit situations. Similarly, the Concealing Field can mitigate over-exposed emissions during the rendering stage. Furthermore, we present a comprehensive multi-view dataset captured under challenging illumination conditions for evaluation. Our code and dataset available at https://github.com/cuiziteng/Aleth-NeRF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google