Accelerating Diffusion Models for Inverse Problems through Shortcut Sampling

要約

最近、拡散モデルは教師なしの方法で逆問題を解決する驚くべき能力を実証しました。
既存の方法は主に事後サンプリング プロセスの修正に焦点を当てており、前方プロセスの可能性を無視しています。
この研究では、逆問題を解決するための新しいパイプラインである拡散のためのショートカット サンプリング (SSD) を提案します。
SSD の重要な概念は、ランダム ノイズから開始するのではなく、測定画像 y と復元画像 x をつなぐ遷移状態である「エンブリオ」を見つけることです。
「入力 – エンブリオ – 出力」の「ショートカット」パスを利用することで、SSD は正確かつ高速な復元を実現できます。
順過程でエンブリオを取得するために、歪み適応反転(DA Inversion)を提案します。
さらに、生成プロセス中に追加の一貫性制約として逆投影とアテンション インジェクションを適用します。
超解像度、ぼけ除去、カラー化などのいくつかの代表的なタスクにおける SSD の有効性を実験的に実証します。
最先端のゼロショット手法と比較して、当社の手法はわずか 30 個の NFE で競争力のある結果を達成します。
さらに、100 NFE を備えた SSD は、特定のタスクにおいて最先端のゼロショット手法を上回るパフォーマンスを発揮できます。

要約(オリジナル)

Recently, diffusion models have demonstrated a remarkable ability to solve inverse problems in an unsupervised manner. Existing methods mainly focus on modifying the posterior sampling process while neglecting the potential of the forward process. In this work, we propose Shortcut Sampling for Diffusion (SSD), a novel pipeline for solving inverse problems. Instead of initiating from random noise, the key concept of SSD is to find the ‘Embryo’, a transitional state that bridges the measurement image y and the restored image x. By utilizing the ‘shortcut’ path of ‘input-Embryo-output’, SSD can achieve precise and fast restoration. To obtain the Embryo in the forward process, We propose Distortion Adaptive Inversion (DA Inversion). Moreover, we apply back projection and attention injection as additional consistency constraints during the generation process. Experimentally, we demonstrate the effectiveness of SSD on several representative tasks, including super-resolution, deblurring, and colorization. Compared to state-of-the-art zero-shot methods, our method achieves competitive results with only 30 NFEs. Moreover, SSD with 100 NFEs can outperform state-of-the-art zero-shot methods in certain tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google