Trustworthy SR: Resolving Ambiguity in Image Super-resolution via Diffusion Models and Human Feedback

要約

超解像度 (SR) は、特定の低解像度画像と一致する実行可能な解が多数存在する、不適切な逆設定問題です。
さまざまな決定論的アルゴリズムは、忠実度と知覚品質のバランスをとる単一のソリューションを見つけることを目的としています。
ただし、このトレードオフにより、情報中心のアプリケーションに曖昧さをもたらす視覚的なアーチファクトが生じることがよくあります。
一方、拡散モデル (DM) は、解空間全体にわたる実現可能な SR 画像の多様なセットを生成することに優れています。
課題は、このセットの中から最も可能性の高いソリューションを信頼できる方法で決定する方法です。
PSNR、LPIPS、DISTS などの定量的尺度は、あいまいなケースを解決するための信頼できる指標ではないことがわかります。
この目的のために、私たちは人間のフィードバックを採用することを提案します。人間の被験者に少数の可能性の高いサンプルを選択するように依頼し、選択したサンプルの平均をアンサンブルします。
この戦略は、DM の高品質画像生成機能を活用する一方で、特に特定の数字や文字の識別など、複数の実行可能なソリューションを生成しても信頼できる結果が得られないユースケースでは、信頼できる単一のソリューションを取得することの重要性を認識しています。
。
実験結果は、私たちが提案した戦略が、最先端の SR 手法と比較して、より信頼できるソリューションを提供することを示しています。

要約(オリジナル)

Super-resolution (SR) is an ill-posed inverse problem with a large set of feasible solutions that are consistent with a given low-resolution image. Various deterministic algorithms aim to find a single solution that balances fidelity and perceptual quality; however, this trade-off often causes visual artifacts that bring ambiguity in information-centric applications. On the other hand, diffusion models (DMs) excel in generating a diverse set of feasible SR images that span the solution space. The challenge is then how to determine the most likely solution among this set in a trustworthy manner. We observe that quantitative measures, such as PSNR, LPIPS, DISTS, are not reliable indicators to resolve ambiguous cases. To this effect, we propose employing human feedback, where we ask human subjects to select a small number of likely samples and we ensemble the averages of selected samples. This strategy leverages the high-quality image generation capabilities of DMs, while recognizing the importance of obtaining a single trustworthy solution, especially in use cases, such as identification of specific digits or letters, where generating multiple feasible solutions may not lead to a reliable outcome. Experimental results demonstrate that our proposed strategy provides more trustworthy solutions when compared to state-of-the art SR methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google