Seeing Through The Noisy Dark: Toward Real-world Low-Light Image Enhancement and Denoising

要約

現実世界の低照度環境で収集された画像は、通常、不十分な光またはハードウェアの制限により、視認性が低下し、ノイズが大きくなります。
既存の低照度画像強調 (LLIE) メソッドは基本的にノイズ干渉を無視し、ベンチマークされたノイズを無視できるデータセットに基づいて低照度画像の照明を改良することに主に焦点を当てています。
このような操作は、ノイズの多い実世界の LLIE (RLLIE) には不適切であり、強調された画像にスペックル ノイズとぼやけが生じます。
いくつかの LLIE メソッドは低照度画像のノイズを考慮していましたが、生データでトレーニングされているため、sRGB 画像には使用できません。データのドメインが異なり、専門知識や未知のプロトコルがないためです。
このホワイト ペーパーでは、sRGB 色空間のノイズの多い暗闇を透視するタスクを明確に検討し、Real-world Low-light Enhancement & Denoising Network (RLED-Net) と呼ばれる新しいエンド ツー エンドの方法を提案します。
自然画像は通常、冗長な情報とノイズを除去できる低ランクの部分空間によって特徴付けられるため、特徴抽出とノイズ除去のために潜在部分空間再構成ブロック (LSRB) を設計します。
グローバル機能 (色/形状情報など) の損失を減らし、より正確なローカル機能 (エッジ/テクスチャ情報など) を抽出するために、クロスチャネル & シフト ウィンドウ トランスフォーマー (
CST)。
CST に基づいて、深い特徴回復のための U 構造ネットワーク (CSTNet) を設計するための新しいバックボーンをさらに提示し、最終的な特徴を改良するための特徴調整ブロック (FRB) も設計します。
実際のノイズの多い画像と公開データベースでの広範な実験により、RLLIE とノイズ除去の両方に対する RLED-Net の有効性が検証されました。

要約(オリジナル)

Images collected in real-world low-light environment usually suffer from lower visibility and heavier noise, due to the insufficient light or hardware limitation. While existing low-light image enhancement (LLIE) methods basically ignored the noise interference and mainly focus on refining the illumination of the low-light images based on benchmarked noise-negligible datasets. Such operations will make them inept for the real-world LLIE (RLLIE) with heavy noise, and result in speckle noise and blur in the enhanced images. Although several LLIE methods considered the noise in low-light image, they are trained on the raw data and hence cannot be used for sRGB images, since the domains of data are different and lack of expertise or unknown protocols. In this paper, we clearly consider the task of seeing through the noisy dark in sRGB color space, and propose a novel end-to-end method termed Real-world Low-light Enhancement & Denoising Network (RLED-Net). Since natural images can usually be characterized by low-rank subspaces in which the redundant information and noise can be removed, we design a Latent Subspace Reconstruction Block (LSRB) for feature extraction and denoising. To reduce the loss of global feature (e.g., color/shape information) and extract more accurate local features (e.g., edge/texture information), we also present a basic layer with two branches, called Cross-channel & Shift-window Transformer (CST). Based on the CST, we further present a new backbone to design a U-structure Network (CSTNet) for deep feature recovery, and also design a Feature Refine Block (FRB) to refine the final features. Extensive experiments on real noisy images and public databases verified the effectiveness of our RLED-Net for both RLLIE and denoising.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google