Zero-LED: Zero-Reference Lighting Estimation Diffusion Model for Low-Light Image Enhancement

要約

拡散モデルベースの低照度画像強調手法は、ペアになったトレーニング データに大きく依存しているため、広範な応用が制限されています。
一方、既存の教師なし手法には、未知の劣化に対する効果的な橋渡し機能がありません。
これらの制限に対処するために、我々は、Zero-LED と呼ばれる、低照度画像強化のための新しいゼロ基準照明推定拡散モデルを提案します。
拡散モデルの安定した収束能力を利用して、低照度領域と実際の通常光領域との間のギャップを橋渡しし、ゼロ参照学習を通じてペアワイズ トレーニング データへの依存を軽減することに成功しました。
具体的には、まず初期最適化ネットワークを設計して入力画像を前処理し、複数の目的関数を通じて拡散モデルと初期最適化ネットワークの間に双方向制約を実装します。
その後、現実世界のシーンの劣化要因が繰り返し最適化され、効果的な光の強化が実現されます。
さらに、私たちは、きめ細かいレベルで回復された画像の特徴の位置合わせを促進し、主観的な期待を満たす、周波数領域ベースの意味論的に誘導された外観再構成モジュールを探索します。
最後に、広範な実験により、他の最先端の方法に対する私たちのアプローチの優位性と、より重要な一般化機能が実証されています。
論文が受理され次第、ソースコードを公開します。

要約(オリジナル)

Diffusion model-based low-light image enhancement methods rely heavily on paired training data, leading to limited extensive application. Meanwhile, existing unsupervised methods lack effective bridging capabilities for unknown degradation. To address these limitations, we propose a novel zero-reference lighting estimation diffusion model for low-light image enhancement called Zero-LED. It utilizes the stable convergence ability of diffusion models to bridge the gap between low-light domains and real normal-light domains and successfully alleviates the dependence on pairwise training data via zero-reference learning. Specifically, we first design the initial optimization network to preprocess the input image and implement bidirectional constraints between the diffusion model and the initial optimization network through multiple objective functions. Subsequently, the degradation factors of the real-world scene are optimized iteratively to achieve effective light enhancement. In addition, we explore a frequency-domain based and semantically guided appearance reconstruction module that encourages feature alignment of the recovered image at a fine-grained level and satisfies subjective expectations. Finally, extensive experiments demonstrate the superiority of our approach to other state-of-the-art methods and more significant generalization capabilities. We will open the source code upon acceptance of the paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google