Low-Light Image Enhancement via Generative Perceptual Priors

要約

低照度 (LL) 画像の可視性の向上、テクスチャの詳細の取得、およびノイズの軽減においては大きな進歩が見られましたが、現在の低照度画像強調 (LLIE) 手法を現実世界のシナリオに適用するという課題は依然として残っています。
遭遇するさまざまな照明条件。
さらに、視覚的に現実的で魅力的な拡張機能を生成する探求は、依然として未開発の領域です。
これらの課題に対応して、視覚から導き出された \textbf{G}enerative \textbf{P}erceptual \textbf{P}riors (\textbf{GPP-LLIE}) のガイダンスを備えた新しい \textbf{LLIE} フレームワークを導入します。
-言語モデル (VLM)。
具体的には、まず、VLM が LL 画像の複数の視覚属性を評価し、評価を定量化してグローバルおよびローカルの知覚事前分布を出力するようにガイドするパイプラインを提案します。
その後、これらの生成的知覚事前分布を組み込んで LLIE に利益をもたらすために、拡散プロセスにトランスフォーマーベースのバックボーンを導入し、新しい層の正規化 (\textit{\textbf{GPP-LN}}) と注意メカニズム (\textit) を開発します。
{\textbf{LPP-Attn}}) グローバルおよびローカルの知覚事前分布によって導かれます。
広範な実験により、私たちのモデルはペアの LL データセットに対して現在の SOTA 手法よりも優れたパフォーマンスを示し、実世界のデータに対して優れた一般化を示すことが実証されました。
コードは \url{https://github.com/LowLevelAI/GPP-LLIE} でリリースされています。

要約(オリジナル)

Although significant progress has been made in enhancing visibility, retrieving texture details, and mitigating noise in Low-Light (LL) images, the challenge persists in applying current Low-Light Image Enhancement (LLIE) methods to real-world scenarios, primarily due to the diverse illumination conditions encountered. Furthermore, the quest for generating enhancements that are visually realistic and attractive remains an underexplored realm. In response to these challenges, we introduce a novel \textbf{LLIE} framework with the guidance of \textbf{G}enerative \textbf{P}erceptual \textbf{P}riors (\textbf{GPP-LLIE}) derived from vision-language models (VLMs). Specifically, we first propose a pipeline that guides VLMs to assess multiple visual attributes of the LL image and quantify the assessment to output the global and local perceptual priors. Subsequently, to incorporate these generative perceptual priors to benefit LLIE, we introduce a transformer-based backbone in the diffusion process, and develop a new layer normalization (\textit{\textbf{GPP-LN}}) and an attention mechanism (\textit{\textbf{LPP-Attn}}) guided by global and local perceptual priors. Extensive experiments demonstrate that our model outperforms current SOTA methods on paired LL datasets and exhibits superior generalization on real-world data. The code is released at \url{https://github.com/LowLevelAI/GPP-LLIE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google