Empirical Bayesian image restoration by Langevin sampling with a denoising diffusion implicit prior

要約

スコアベースの拡散法は、事前トレーニングされた基本的な事前モデルとテスト時に指定された尤度関数を柔軟に組み合わせることで、画像復元タスクを解決する強力な戦略を提供します。
このような手法は主に、有名なノイズ除去拡散確率モデル (DDPM) およびノイズ除去拡散暗黙モデル (DDIM) を支えるオーンシュタイン・ウーレンベック逆転法と、ランジュバン拡散過程という 2 つの確率過程から得られます。
DDPM および DDIM によって提供されるソリューションは、多くの場合非常に現実的ですが、解決しにくい問題が発生する可能性や、それに関連して必要な近似が必要なため、必ずしも測定値と一致するとは限りません。
あるいは、ランジュバン プロセスを使用すると、困難な尤度の問題が回避されますが、通常、復元結果の品質が低下し、計算時間が長くなります。
この論文では、基礎的な DDPM デノイザーを経験的なベイジアン ランジュバン アルゴリズム内に注意深く埋め込む、新しくて計算効率の高い画像復元方法を紹介します。このアルゴリズムは、モデルの事後平均を推定する際に主要なモデルのハイパーパラメーターを共同で校正します。
3 つの標準タスク (画像のぼけ除去、超解像度、修復) に関する広範な実験結果は、提案されたアプローチが画像推定精度と計算時間の両方において最先端の戦略を改善していることを示しています。

要約(オリジナル)

Score-based diffusion methods provide a powerful strategy to solve image restoration tasks by flexibly combining a pre-trained foundational prior model with a likelihood function specified during test time. Such methods are predominantly derived from two stochastic processes: reversing Ornstein-Uhlenbeck, which underpins the celebrated denoising diffusion probabilistic models (DDPM) and denoising diffusion implicit models (DDIM), and the Langevin diffusion process. The solutions delivered by DDPM and DDIM are often remarkably realistic, but they are not always consistent with measurements because of likelihood intractability issues and the associated required approximations. Alternatively, using a Langevin process circumvents the intractable likelihood issue, but usually leads to restoration results of inferior quality and longer computing times. This paper presents a novel and highly computationally efficient image restoration method that carefully embeds a foundational DDPM denoiser within an empirical Bayesian Langevin algorithm, which jointly calibrates key model hyper-parameters as it estimates the model’s posterior mean. Extensive experimental results on three canonical tasks (image deblurring, super-resolution, and inpainting) demonstrate that the proposed approach improves on state-of-the-art strategies both in image estimation accuracy and computing time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google