Proxies for Distortion and Consistency with Applications for Real-World Image Restoration

要約

現実世界の画像復元では、未知の劣化が発生した画像の回復を扱います。
このタスクは通常、対応するグラウンドトゥルース バージョンを持たずに、劣化した画像のみを与えられて対処されます。
この厳しい状況では、復元アルゴリズムの設計と評価が非常に困難になります。
このペーパーでは、現実世界の画像復元アルゴリズムの設計と評価の両方に役立つ一連のツールを提供します。
私たちの仕事は、特定の実世界で測定された入力が通過した劣化の連鎖を予測するトレーニング済みモデルを提案することから始まります。
この推定器を使用して一貫性、つまり測定値と提案された復元画像の間の一致を近似する方法を示します。
また、この推定量は、事前にトレーニングされた拡散ベースの画像を活用した、シンプルで非常に効果的なプラグアンドプレイの実世界画像復元アルゴリズムの設計の指針としても使用されます。
さらに、この研究では、MSE と LPIPS の非参照代理測定を提案しています。これにより、グラウンドトゥルース画像にアクセスせずに、(近似の) MSE と LPIPS に基づいて現実世界の画像復元アルゴリズムをランク付けできます。
提案されたスイートは、現実世界のシナリオでブラインド画像復元アルゴリズムを評価および比較するための、この種では初めての多用途のフレームワークを提供します。

要約(オリジナル)

Real-world image restoration deals with the recovery of images suffering from an unknown degradation. This task is typically addressed while being given only degraded images, without their corresponding ground-truth versions. In this hard setting, designing and evaluating restoration algorithms becomes highly challenging. This paper offers a suite of tools that can serve both the design and assessment of real-world image restoration algorithms. Our work starts by proposing a trained model that predicts the chain of degradations a given real-world measured input has gone through. We show how this estimator can be used to approximate the consistency — the match between the measurements and any proposed recovered image. We also use this estimator as a guiding force for the design of a simple and highly-effective plug-and-play real-world image restoration algorithm, leveraging a pre-trained diffusion-based image prior. Furthermore, this work proposes no-reference proxy measures of MSE and LPIPS, which, without access to the ground-truth images, allow ranking of real-world image restoration algorithms according to their (approximate) MSE and LPIPS. The proposed suite provides a versatile, first of its kind framework for evaluating and comparing blind image restoration algorithms in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google