Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields

要約

一般的な低照度シーンのキャプチャは、Neural Radiance Fields (NeRF) を含むほとんどのコンピューター ビジョン技術にとって困難です。
Vanilla NeRF はビューア中心であり、レンダリング プロセスをビュー方向の 3D 位置からの発光としてのみ単純化するため、低照度による暗闇をモデル化できません。
視覚は目から放射される光線によって達成されるという古代ギリシャ人の放射理論に触発され、バニラ NeRF にわずかな変更を加えて、暗いシーンの複数のビューでトレーニングすることで、教師なしで明るいシーンをレンダリングできます。
やり方。
ボリューム レンダリング段階での光の輸送を減らす、代替コンセプトである Concealing Fields を導入します。
具体的には、私たちが提案する手法である Aleth-NeRF は、暗い画像から直接学習して、事前分布に基づく体積オブジェクト表現と隠蔽フィールドを理解します。
隠蔽フィールドを単に排除するだけで、単一または複数ビューの明るい画像をレンダリングでき、他の 2D 低照度強調方法よりも優れたパフォーマンスを得ることができます。
さらに、将来の研究のために、最初の低光量と通常光のマルチビュー (LOM) データセットのペアを収集します。
このバージョンは無効です。新しい AAAI バージョンを参照してください: arXiv:2312.09093

要約(オリジナル)

Common capture low-light scenes are challenging for most computer vision techniques, including Neural Radiance Fields (NeRF). Vanilla NeRF is viewer-centred simplifies the rendering process only as light emission from 3D locations in the viewing direction, thus failing to model the low-illumination induced darkness. Inspired by the emission theory of ancient Greeks that visual perception is accomplished by rays casting from eyes, we make slight modifications on vanilla NeRF to train on multiple views of low-light scenes, we can thus render out the well-lit scene in an unsupervised manner. We introduce a surrogate concept, Concealing Fields, that reduces the transport of light during the volume rendering stage. Specifically, our proposed method, Aleth-NeRF, directly learns from the dark image to understand volumetric object representation and concealing field under priors. By simply eliminating Concealing Fields, we can render a single or multi-view well-lit image(s) and gain superior performance over other 2D low-light enhancement methods. Additionally, we collect the first paired LOw-light and normal-light Multi-view (LOM) datasets for future research. This version is invalid, please refer to our new AAAI version: arXiv:2312.09093

arxiv情報

提供元, 利用サービス

arxiv.jp, Google