Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields

要約

一般的な低照度シーンのキャプチャは、Neural Radiance Field (NeRF) を含むほとんどのコンピューター ビジョン技術にとって困難です。
Vanilla NeRF は視聴者中心であり、レンダリング プロセスを視聴方向の 3D 位置からの発光としてのみ単純化するため、低照度による暗さをモデル化できません。
視覚は目から放たれる光線によって達成されるという古代ギリシャの発光理論に着想を得て、低照度シーンの複数のビューでトレーニングするためにバニラの NeRF にわずかな変更を加え、教師なしで明るいシーンをレンダリングすることができます。
.
ボリューム レンダリング段階で光の輸送を削減する代用概念、コンシーリング フィールドを導入します。
具体的には、提案された方法である Aleth-NeRF は、暗い画像から直接学習して、ボリューム オブジェクトの表現とプライアの下でのフィールドの隠蔽を理解します。
Concealing Fields を単純に排除することで、シングル ビューまたはマルチビューの明るい画像をレンダリングし、他の 2D 低照度強化方法よりも優れたパフォーマンスを得ることができます。
さらに、将来の研究のために、低照度光と通常光のマルチビュー (LOM) データセットを初めて収集します。

要約(オリジナル)

Common capture low-light scenes are challenging for most computer vision techniques, including Neural Radiance Fields (NeRF). Vanilla NeRF is viewer-centred that simplifies the rendering process only as light emission from 3D locations in the viewing direction, thus failing to model the low-illumination induced darkness. Inspired by emission theory of ancient Greek that visual perception is accomplished by rays casting from eyes, we make slight modifications on vanilla NeRF to train on multiple views of low-light scene, we can thus render out the well-lit scene in an unsupervised manner. We introduce a surrogate concept, Concealing Fields, that reduce the transport of light during the volume rendering stage. Specifically, our proposed method, Aleth-NeRF, directly learns from the dark image to understand volumetric object representation and concealing field under priors. By simply eliminating Concealing Fields, we can render a single or multi-view well-lit image(s) and gain superior performance over other 2D low light enhancement methods. Additionally, we collect the first paired LOw-light and normal-light Multi-view (LOM) datasets for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google