Image Restoration with Mean-Reverting Stochastic Differential Equations

要約

この論文では、汎用画像復元のための確率微分方程式 (SDE) アプローチを提示します。
重要な構造は、固定ガウス ノイズを含む平均状態として、高品質の画像を劣化した画像に変換する平均復帰 SDE で構成されます。
次に、対応するリバースタイム SDE をシミュレートすることで、タスク固有の事前知識に頼ることなく、低品質の画像の元を復元できます。
重要なことに、提案された平均回帰 SDE には閉形式のソリューションがあり、グラウンド トゥルースの時間依存スコアを計算し、それをニューラル ネットワークで学習することができます。
さらに、トレーニングを安定させ、復元結果を改善する最適な逆軌道を学習する最尤目標を提案します。
実験では、提案された方法が、画像のデレイン、ブレ除去、およびノイズ除去の定量的比較で非常に競争力のあるパフォーマンスを達成し、2 つのデレイン データセットに新しい最先端技術を設定することを示します。
最後に、私たちのアプローチの一般的な適用性は、画像の超解像、修復、およびかすみ除去に関する定性的な結果によってさらに実証されています。
コードは https://github.com/Algolzw/image-restoration-sde で入手できます。

要約(オリジナル)

This paper presents a stochastic differential equation (SDE) approach for general-purpose image restoration. The key construction consists in a mean-reverting SDE that transforms a high-quality image into a degraded counterpart as a mean state with fixed Gaussian noise. Then, by simulating the corresponding reverse-time SDE, we are able to restore the origin of the low-quality image without relying on any task-specific prior knowledge. Crucially, the proposed mean-reverting SDE has a closed-form solution, allowing us to compute the ground truth time-dependent score and learn it with a neural network. Moreover, we propose a maximum likelihood objective to learn an optimal reverse trajectory which stabilizes the training and improves the restoration results. In the experiments, we show that our proposed method achieves highly competitive performance in quantitative comparisons on image deraining, deblurring, and denoising, setting a new state-of-the-art on two deraining datasets. Finally, the general applicability of our approach is further demonstrated via qualitative results on image super-resolution, inpainting, and dehazing. Code is available at https://github.com/Algolzw/image-restoration-sde.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google