When No-Reference Image Quality Models Meet MAP Estimation in Diffusion Latents

要約

最新の非参照画質評価 (NR-IQA) モデルは、知覚される画質を効果的に定量化でき、多くの場合、標準的な IQA ベンチマークにおける人間の知覚スコアとの強い相関関係が得られます。
しかし、NR-IQA モデルを現実世界の画像強調のための自然画像事前分布として扱い、その結果として知覚的最適化の観点から比較することには、限られた努力しか注がれていません。
この研究では、NR-IQA モデルを画像強調のための最大事後 (MAP) 推定フレームワークに組み込むことができることを初めて示します。
これは、事前トレーニングされた微分可能な全単射拡散プロセスを利用して、生のピクセル領域ではなく拡散潜在空間で勾配上昇を実行することによって実現されます。
おそらく、異なる NR-IQA モデルは異なる強化された出力をもたらし、それが結果的にそれらを比較するための新しい計算手段を提供します。
従来の相関ベースの測定とは異なり、当社の比較方法は、知覚最適化シナリオにおける競合する NR-IQA モデルのそれぞれの長所と短所についての補完的な洞察を提供します。
さらに、他の最高のパフォーマンスの手法の利点を組み込むことで、拡散潜在 MAP 推定において最高のパフォーマンスを発揮する NR-IQA モデルを改善することを目指しています。
結果として得られるモデルは、未知の複雑な歪みに悩まされている現実世界の画像を強調する際に、著しく優れた結果をもたらし、すべて高度な画像忠実度を維持します。

要約(オリジナル)

Contemporary no-reference image quality assessment (NR-IQA) models can effectively quantify perceived image quality, often achieving strong correlations with human perceptual scores on standard IQA benchmarks. Yet, limited efforts have been devoted to treating NR-IQA models as natural image priors for real-world image enhancement, and consequently comparing them from a perceptual optimization standpoint. In this work, we show — for the first time — that NR-IQA models can be plugged into the maximum a posteriori (MAP) estimation framework for image enhancement. This is achieved by performing gradient ascent in the diffusion latent space rather than in the raw pixel domain, leveraging a pretrained differentiable and bijective diffusion process. Likely, different NR-IQA models lead to different enhanced outputs, which in turn provides a new computational means of comparing them. Unlike conventional correlation-based measures, our comparison method offers complementary insights into the respective strengths and weaknesses of the competing NR-IQA models in perceptual optimization scenarios. Additionally, we aim to improve the best-performing NR-IQA model in diffusion latent MAP estimation by incorporating the advantages of other top-performing methods. The resulting model delivers noticeably better results in enhancing real-world images afflicted by unknown and complex distortions, all preserving a high degree of image fidelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google