HDR Imaging with Spatially Varying Signal-to-Noise Ratios

要約

タイトル：「空間的に変動する信号対雑音比を持つHDR画像」

要約：

– 高ダイナミックレンジ（HDR）画像の融合アルゴリズムは、複数の露光を混合することができるが、撮影はしばしば1つの露光内のダイナミックレンジを狭めたままとなる。
– 光子限定の状況でのHDR画像では、ダイナミックレンジは膨大で、1つの露光内のノイズは空間的に変動する。しかし、既存の画像ノイズリダクションアルゴリズムやHDR融合アルゴリズムでは、このような状況に対応できず、低光量HDR画像において深刻な制限がある。
– 本論文では、2つの貢献がある。1つ目は、問題の原因を特定すること。私たちは、問題が(1)空間的に変動する信号対雑音比、特に非常に暗い領域に由来する過剰なノイズと、(2)各露光内の幅広い輝度範囲の共存に関連していることを発見した。私たちは、問題がノイズリダクションのバンクで処理できることを示したが、複雑さが高いという課題がある。
– 2つ目の貢献は、同時に画像のノイズリダクションと融合を行う空間的に変動する高ダイナミックレンジ（SV-HDR）融合ネットワークを提案することである。当社独自の多重スケールトランスフォーマーフレームワーク内の新しい露光共有ブロックを導入する。様々なテスト条件下で、提案されたSV-HDRのパフォーマンスは、既存の方法よりも優れている。

要約(オリジナル)

While today’s high dynamic range (HDR) image fusion algorithms are capable of blending multiple exposures, the acquisition is often controlled so that the dynamic range within one exposure is narrow. For HDR imaging in photon-limited situations, the dynamic range can be enormous and the noise within one exposure is spatially varying. Existing image denoising algorithms and HDR fusion algorithms both fail to handle this situation, leading to severe limitations in low-light HDR imaging. This paper presents two contributions. Firstly, we identify the source of the problem. We find that the issue is associated with the co-existence of (1) spatially varying signal-to-noise ratio, especially the excessive noise due to very dark regions, and (2) a wide luminance range within each exposure. We show that while the issue can be handled by a bank of denoisers, the complexity is high. Secondly, we propose a new method called the spatially varying high dynamic range (SV-HDR) fusion network to simultaneously denoise and fuse images. We introduce a new exposure-shared block within our custom-designed multi-scale transformer framework. In a variety of testing conditions, the performance of the proposed SV-HDR is better than the existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI