Seeing Through the Noisy Dark: Towards Real-world Low-Light Image Enhancement and Denoising

要約

ローライト イメージ エンハンスメント (LLIE) は、照明ノイズのある暗いイメージの照明と視認性を向上させることを目的としています。
多くの場合、重くて複雑なノイズを含む現実世界の低照度画像を処理するために、ジョイント LLIE とノイズ除去に対していくつかの努力がなされてきましたが、これは劣った復元パフォーマンスしか達成できません。
これは 2 つの課題に起因すると考えられます。1) 現実世界の低照度画像では、ノイズは低照度である程度覆われ、ノイズ除去後の左のノイズは強調中に必然的に増幅されます。
2) 生データを sRGB に変換すると、情報の損失とノイズが増えるため、生データでトレーニングされた以前の LLIE メソッドは、より一般的な sRGB 画像には適していません。
この作業では、sRGB 色空間で現実世界の低照度画像 (RLED-Net) 用の新しい低照度強調およびノイズ除去ネットワークを提案します。
RLED-Net では、プラグアンドプレイの微分可能な潜在サブスペース再構築ブロック (LSRB) を適用して、実世界の画像を低ランクのサブスペースに埋め込み、ノイズを抑制してエラーを修正し、強化中のノイズの影響を軽減します。
効果的に縮小することができます。
次に、2 つの分岐を持つ効率的な Crossed-channel & Shift-window Transformer (CST) レイヤーを提示して、ウィンドウとチャネルの注意を計算し、入力画像のノイズによって引き起こされる劣化 (スペックル ノイズやブラーなど) に抵抗します。
CSTレイヤーに基づいて、U構造ネットワークCSTNetを深い機能回復のバックボーンとしてさらに提示し、機能調整ブロックを構築して最終機能を調整します。
実際のノイズの多い画像と公共の画像データベースの両方での広範な実験により、RLLIE とノイズ除去に対する提案された RLED-Net の有効性が十分に検証されます。

要約(オリジナル)

Low-light image enhancement (LLIE) aims at improving the illumination and visibility of dark images with lighting noise. To handle the real-world low-light images often with heavy and complex noise, some efforts have been made for joint LLIE and denoising, which however only achieve inferior restoration performance. We attribute it to two challenges: 1) in real-world low-light images, noise is somewhat covered by low-lighting and the left noise after denoising would be inevitably amplified during enhancement; 2) conversion of raw data to sRGB would cause information loss and also more noise, and hence prior LLIE methods trained on raw data are unsuitable for more common sRGB images. In this work, we propose a novel Low-light Enhancement & Denoising Network for real-world low-light images (RLED-Net) in the sRGB color space. In RLED-Net, we apply a plug-and-play differentiable Latent Subspace Reconstruction Block (LSRB) to embed the real-world images into low-rank subspaces to suppress the noise and rectify the errors, such that the impact of noise during enhancement can be effectively shrunk. We then present an efficient Crossed-channel & Shift-window Transformer (CST) layer with two branches to calculate the window and channel attentions to resist the degradation (e.g., speckle noise and blur) caused by the noise in input images. Based on the CST layers, we further present a U-structure network CSTNet as backbone for deep feature recovery, and construct a feature refine block to refine the final features. Extensive experiments on both real noisy images and public image databases well verify the effectiveness of the proposed RLED-Net for RLLIE and denoising simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google