Unsupervised Low Light Image Enhancement Using SNR-Aware Swin Transformer

要約

低照度条件下で撮影された画像には不快なアーティファクトが表示され、上流の多くの視覚タスクでの特徴抽出のパフォーマンスが低下します。
低照度画像強調の目的は、明るさとコントラストを改善し、視覚的な品質を損なうノイズをさらに低減することです。
最近、Swin Transformer に基づいた画像復元手法が数多く提案され、優れたパフォーマンスを実現しています。
しかし、一方では、低照度の画像強調に Swin Transformer を簡単に使用すると、露出オーバー、輝度の不均衡、ノイズの破損などのアーティファクトが露呈する可能性があります。他方で、低照度の画像ペアをキャプチャすることは非現実的です。
画像と対応するグラウンドトゥルース、つまり同じ視覚シーン内の十分に露出された画像。
この論文では、低照度画像強調のための空間変化情報を提供する事前の信号対雑音比マップに基づいた、Swin Transformer に基づくデュアルブランチ ネットワークを提案します。
さらに、教師なし学習を活用して、Retinex モデルに基づいて最適化目標を構築し、提案されたネットワークのトレーニングをガイドします。
実験結果は、提案されたモデルがベースライン モデルと競合することを示しています。

要約(オリジナル)

Image captured under low-light conditions presents unpleasing artifacts, which debilitate the performance of feature extraction for many upstream visual tasks. Low-light image enhancement aims at improving brightness and contrast, and further reducing noise that corrupts the visual quality. Recently, many image restoration methods based on Swin Transformer have been proposed and achieve impressive performance. However, on one hand, trivially employing Swin Transformer for low-light image enhancement would expose some artifacts, including over-exposure, brightness imbalance and noise corruption, etc. On the other hand, it is impractical to capture image pairs of low-light images and corresponding ground-truth, i.e. well-exposed image in same visual scene. In this paper, we propose a dual-branch network based on Swin Transformer, guided by a signal-to-noise ratio prior map which provides the spatial-varying information for low-light image enhancement. Moreover, we leverage unsupervised learning to construct the optimization objective based on Retinex model, to guide the training of proposed network. Experimental results demonstrate that the proposed model is competitive with the baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google