Structure-guided Diffusion Transformer for Low-Light Image Enhancement

要約

拡散変圧器（DIT）は近年関心のある焦点となっていますが、低光の画像強化への適用は、探索のための空白の領域のままです。
現在のメソッドは、画像のノイズを必然的に増幅しながら、低光の画像から詳細を回復し、視覚的な品質が低下します。
この論文では、最初に低光の強化タスクにDITを導入し、新しい構造誘導拡散トランスベースの低光画像強化（SDTL）フレームワークを設計します。
ウェーブレット変換を介して特徴を圧縮して、モデルの推論効率を改善し、多方向周波数帯域をキャプチャします。
次に、テクスチャを強化する前に構造を使用する構造強化モジュール（SEM）を提案し、より正確な強化効果を実現するために適応融合戦略を活用します。
さらに、テクスチャが豊富なトークンにもっと注意を払って、ノイズ予測でノイズの多い領域からの干渉を避けるために、構造誘導の注意ブロック（SAB）を提案します。
広範な定性的および定量的実験は、この方法がいくつかの一般的なデータセットでSOTAパフォーマンスを達成し、画質の向上におけるSDTLの有効性と低光強化タスクでのDITの可能性を検証することを示しています。

要約(オリジナル)

While the diffusion transformer (DiT) has become a focal point of interest in recent years, its application in low-light image enhancement remains a blank area for exploration. Current methods recover the details from low-light images while inevitably amplifying the noise in images, resulting in poor visual quality. In this paper, we firstly introduce DiT into the low-light enhancement task and design a novel Structure-guided Diffusion Transformer based Low-light image enhancement (SDTL) framework. We compress the feature through wavelet transform to improve the inference efficiency of the model and capture the multi-directional frequency band. Then we propose a Structure Enhancement Module (SEM) that uses structural prior to enhance the texture and leverages an adaptive fusion strategy to achieve more accurate enhancement effect. In Addition, we propose a Structure-guided Attention Block (SAB) to pay more attention to texture-riched tokens and avoid interference from noisy areas in noise prediction. Extensive qualitative and quantitative experiments demonstrate that our method achieves SOTA performance on several popular datasets, validating the effectiveness of SDTL in improving image quality and the potential of DiT in low-light enhancement tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google