Posterior-Mean Rectified Flow: Towards Minimum MSE Photo-Realistic Image Restoration

要約

フォトリアリスティックな画像復元アルゴリズムは、通常、歪み尺度（例えば、PSNR、SSIM）と知覚品質尺度（例えば、FID、NIQE）によって評価され、知覚品質を損なうことなく、可能な限り低い歪みを達成することが望まれている。この目標を達成するために、現在の方法は一般的に、事後分布からサンプリングするか、歪み損失（例えば、MSE）と知覚品質損失（例えば、GAN）の加重和を最適化しようとする。これまでの研究とは異なり、本論文では特に、完全な知覚指標の制約の下で、すなわち、再構成画像の分布が地上真正画像の分布と等しい場合に、MSEを最小化する最適推定量に注目する。このような推定器は、事後平均予測値（MMSE推定値）を地上真理画像の分布に最適に輸送することで構築できることが、最近の理論結果から示されている。この結果に触発され、この最適推定量を近似する、シンプルでありながら非常に効果的なアルゴリズムである、事後平均整流法（Posterior-Mean Rectified Flow: PMRF）を紹介する。特にPMRFは、まず事後平均を予測し、その結果を、所望の最適輸送マップを近似する整流フローモデルを用いて高画質画像に輸送する。我々はPMRFの理論的有用性を調査し、様々な画像復元タスクにおいて、PMRFが一貫して従来の手法を凌駕することを実証する。

要約(オリジナル)

Photo-realistic image restoration algorithms are typically evaluated by distortion measures (e.g., PSNR, SSIM) and by perceptual quality measures (e.g., FID, NIQE), where the desire is to attain the lowest possible distortion without compromising on perceptual quality. To achieve this goal, current methods commonly attempt to sample from the posterior distribution, or to optimize a weighted sum of a distortion loss (e.g., MSE) and a perceptual quality loss (e.g., GAN). Unlike previous works, this paper is concerned specifically with the optimal estimator that minimizes the MSE under a constraint of perfect perceptual index, namely where the distribution of the reconstructed images is equal to that of the ground-truth ones. A recent theoretical result shows that such an estimator can be constructed by optimally transporting the posterior mean prediction (MMSE estimate) to the distribution of the ground-truth images. Inspired by this result, we introduce Posterior-Mean Rectified Flow (PMRF), a simple yet highly effective algorithm that approximates this optimal estimator. In particular, PMRF first predicts the posterior mean, and then transports the result to a high-quality image using a rectified flow model that approximates the desired optimal transport map. We investigate the theoretical utility of PMRF and demonstrate that it consistently outperforms previous methods on a variety of image restoration tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL