DriftRec: Adapting diffusion models to blind JPEG restoration

要約

この研究では、拡散モデルの忠実度の高い生成能力を利用して、高圧縮レベルでのブラインドJPEG復元を解く。拡散モデルをこの復元タスクに適応させるために、拡散モデルの順確率微分方程式のエレガントな修正を提案し、我々の手法をDriftRecと名付ける。DriftRecを同じネットワークアーキテクチャを持つ$L_2$回帰ベースラインとJPEG復元の最新技術と比較することで、我々の手法が他の手法のぼやけた画像を生成する傾向から逃れ、きれいな画像の分布を大幅に忠実に復元できることを示す。このために必要なのは、きれいな画像と破損した画像のペアのデータセットだけであり、破損操作に関する知識は不要であるため、他の復元タスクへの幅広い応用が可能である。他の条件付き拡散モデルや無条件拡散モデルとは対照的に、我々は、拡散モデルにおける逆過程の通常のガウス事前分布よりも、きれいな画像と壊れた画像の分布の方が互いに近いという考え方を利用する。従って、我々のアプローチは低レベルのノイズしか必要とせず、更なる最適化なしでも比較的少ないサンプリングステップで済む。我々は、DriftRecが、非整列二重JPEG圧縮や、オンラインで発見されたJPEGのブラインド復元など、現実的で困難なシナリオに、訓練中にそのような例に遭遇することなく、自然に一般化することを示す。

要約(オリジナル)

In this work, we utilize the high-fidelity generation abilities of diffusion models to solve blind JPEG restoration at high compression levels. We propose an elegant modification of the forward stochastic differential equation of diffusion models to adapt them to this restoration task and name our method DriftRec. Comparing DriftRec against an $L_2$ regression baseline with the same network architecture and state-of-the-art techniques for JPEG restoration, we show that our approach can escape the tendency of other methods to generate blurry images, and recovers the distribution of clean images significantly more faithfully. For this, only a dataset of clean/corrupted image pairs and no knowledge about the corruption operation is required, enabling wider applicability to other restoration tasks. In contrast to other conditional and unconditional diffusion models, we utilize the idea that the distributions of clean and corrupted images are much closer to each other than each is to the usual Gaussian prior of the reverse process in diffusion models. Our approach therefore requires only low levels of added noise and needs comparatively few sampling steps even without further optimizations. We show that DriftRec naturally generalizes to realistic and difficult scenarios such as unaligned double JPEG compression and blind restoration of JPEGs found online, without having encountered such examples during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL