Equipping Diffusion Models with Differentiable Spatial Entropy for Low-Light Image Enhancement

要約

画像の復元は、破損した画像から高品質の画像を回復することを目的としていますが、多くの場合、単一の入力に対して複数の解決策が可能になる不適切な設定の問題であるという課題に直面します。
ただし、ほとんどの深層学習ベースの作品は、決定論的な方法でネットワークをトレーニングするために l1 損失を採用するだけであり、その結果、知覚品質が劣る過度に平滑化された予測が生じます。
この研究では、決定論的なピクセルごとの比較から統計的な観点に焦点を移し、個々のピクセル値ではなく分布の学習に重点を置く新しい方法を提案します。
中心的なアイデアは、空間エントロピーを損失関数に導入して、予測とターゲットの間の分布の違いを測定することです。
この空間エントロピーを微分可能にするために、カーネル密度推定 (KDE) を使用して、各ピクセルの特定の強度値とその隣接領域の確率を近似します。
具体的には、エントロピーに拡散モデルを装備し、l1 ベースのノイズマッチング損失を超える優れた精度と知覚品質の向上を目指します。
実験では、2 つのデータセットと NTIRE チャレンジ 2024 で提案された低照度強調方法を評価します。これらの結果はすべて、統計に基づくエントロピー損失の有効性を示しています。
コードは https://github.com/shermanlian/spatial-entropy-loss で入手できます。

要約(オリジナル)

Image restoration, which aims to recover high-quality images from their corrupted counterparts, often faces the challenge of being an ill-posed problem that allows multiple solutions for a single input. However, most deep learning based works simply employ l1 loss to train their network in a deterministic way, resulting in over-smoothed predictions with inferior perceptual quality. In this work, we propose a novel method that shifts the focus from a deterministic pixel-by-pixel comparison to a statistical perspective, emphasizing the learning of distributions rather than individual pixel values. The core idea is to introduce spatial entropy into the loss function to measure the distribution difference between predictions and targets. To make this spatial entropy differentiable, we employ kernel density estimation (KDE) to approximate the probabilities for specific intensity values of each pixel with their neighbor areas. Specifically, we equip the entropy with diffusion models and aim for superior accuracy and enhanced perceptual quality over l1 based noise matching loss. In the experiments, we evaluate the proposed method for low light enhancement on two datasets and the NTIRE challenge 2024. All these results illustrate the effectiveness of our statistic-based entropy loss. Code is available at https://github.com/shermanlian/spatial-entropy-loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google