DarkVisionNet: Low-Light Imaging via RGB-NIR Fusion with Deep Inconsistency Prior

要約

タイトル：DarkVisionNet：RGB-NIRフュージョンを用いた低照度イメージングにおけるディープインコンシステンシープライオリティを有するローライトイメージング

要約：

– RGB-NIRフュージョンは、低照度イメージングにおいて有望な手法である。
– しかし、低照度画像の高強度ノイズは、RGB-NIR画像間の構造の不一致の影響を増幅し、既存のアルゴリズムが失敗することがある。
– この問題を解決するために、Deep StructureとDeep Inconsistency Prior (DIP)という2つの技術的な新機能を持つ、Dark Vision Net (DVN)という新しいRGB-NIRフュージョンアルゴリズムを提案する。
– Deep Structureは、ノイズの多い入力に対してより堅牢な深い多スケール特徴空間における明瞭な構造詳細を抽出する。RGBとNIR領域の両方からの深い構造に基づき、構造の不一致性を利用するためにDIPを導入する。
– この恩恵を受けて、提案されたDVNは視覚的なアーティファクトなしで高品質の低照度画像を得ることができる。
– また、最初の公開RGBNIRフュージョンベンチマークであるDark Vision Dataset（DVD）という新しいデータセットを提案する。提案されたベンチマークの定量的および定性的な結果は、DVNが特に極端に低い光条件下で、PSNRとSSIMで他の比較アルゴリズムを大幅に上回ることを示している。

要約(オリジナル)

RGB-NIR fusion is a promising method for low-light imaging. However, high-intensity noise in low-light images amplifies the effect of structure inconsistency between RGB-NIR images, which fails existing algorithms. To handle this, we propose a new RGB-NIR fusion algorithm called Dark Vision Net (DVN) with two technical novelties: Deep Structure and Deep Inconsistency Prior (DIP). The Deep Structure extracts clear structure details in deep multiscale feature space rather than raw input space, which is more robust to noisy inputs. Based on the deep structures from both RGB and NIR domains, we introduce the DIP to leverage the structure inconsistency to guide the fusion of RGB-NIR. Benefiting from this, the proposed DVN obtains high-quality lowlight images without the visual artifacts. We also propose a new dataset called Dark Vision Dataset (DVD), consisting of aligned RGB-NIR image pairs, as the first public RGBNIR fusion benchmark. Quantitative and qualitative results on the proposed benchmark show that DVN significantly outperforms other comparison algorithms in PSNR and SSIM, especially in extremely low light conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI