ClassLIE: Structure- and Illumination-Adaptive Classification for Low-Light Image Enhancement

要約

低照度の画像では視認性の制限や複数の種類の劣化が発生することが多く、低照度の画像強調 (LIE) は簡単な作業ではありません。
最近、畳み込みニューラル ネットワーク (CNN) を使用して低照度画像を強化するいくつかの試みが行われています。
ただし、画像の局所領域の構造情報と多様な照明レベルを学習する効率は低くなります。
その結果、強化された結果は、不均衡な露出、ぼやけ、色の偏りなどの予期しないアーティファクトの影響を受けます。
この目的を達成するために、この論文では、CNN とトランスフォーマーの可能性を組み合わせた、ClassLIE と呼ばれる新しいフレームワークを提案します。
低照度画像から構造情報と照明情報を分類し、全体的かつ局所的な方法で適応的に学習するため、より優れた補正パフォーマンスが得られます。
私たちのフレームワークは、まず構造と照明分類 (SIC) モジュールを採用して、劣化情報を適応的に学習します。
SIC では、入力画像を照明マップと反射率マップに分解します。
次に、反射率マップ上の構造類似性スコアと照明マップ上の平均二乗誤差を計算することにより、劣化情報を分類するようにクラス予測ブロックが設計されます。
したがって、各入力画像は 3 つの強調難易度レベルを持つパッチに分割できます。
次に、パッチの長距離依存関係を総合的に学習しながら、さまざまな強化難易度の CNN で特徴情報を適応的に学習する特徴学習および融合 (FLF) モジュールが提案されています。
5 つのベンチマーク データセットでの実験では、ClassLIE が LOL データセットで 25.74 PSNR および 0.92 SSIM という新しい最先端のパフォーマンスを達成していることが一貫して示されています。

要約(オリジナル)

Low-light images often suffer from limited visibility and multiple types of degradation, rendering low-light image enhancement (LIE) a non-trivial task. Some endeavors have been recently made to enhance low-light images using convolutional neural networks (CNNs). However, they have low efficiency in learning the structural information and diverse illumination levels at the local regions of an image. Consequently, the enhanced results are affected by unexpected artifacts, such as unbalanced exposure, blur, and color bias. To this end, this paper proposes a novel framework, called ClassLIE, that combines the potential of CNNs and transformers. It classifies and adaptively learns the structural and illumination information from the low-light images in a holistic and regional manner, thus showing better enhancement performance. Our framework first employs a structure and illumination classification (SIC) module to learn the degradation information adaptively. In SIC, we decompose an input image into an illumination map and a reflectance map. A class prediction block is then designed to classify the degradation information by calculating the structure similarity scores on the reflectance map and mean square error on the illumination map. As such, each input image can be divided into patches with three enhancement difficulty levels. Then, a feature learning and fusion (FLF) module is proposed to adaptively learn the feature information with CNNs for different enhancement difficulty levels while learning the long-range dependencies for the patches in a holistic manner. Experiments on five benchmark datasets consistently show our ClassLIE achieves new state-of-the-art performance, with 25.74 PSNR and 0.92 SSIM on the LOL dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google