Accelerating Diffusion Models for Inverse Problems through Shortcut Sampling

要約

拡散モデルは最近、教師なしの方法で逆問題に対処する優れた能力を実証しました。
既存の方法は主に事後サンプリング プロセスの修正に焦点を当てていますが、前方プロセスの可能性はほとんど解明されていません。
この研究では、ゼロショット方式で逆問題を解決するための新しいアプローチである拡散のためのショートカット サンプリング (SSD) を提案します。
SSD の中心的な概念は、ランダム ノイズから開始するのではなく、測定画像 y と復元画像 x をつなぐ特定の遷移状態を見つけることです。
SSD は「入力 – 遷移状態 – 出力」というショートカット パスを利用することで、少ない手順で正確な復元を実現します。
順方向プロセス中の遷移状態を導出するために、歪み適応反転を導入します。
さらに、生成プロセス中に追加の一貫性制約として逆投影を適用します。
実験的に、複数の代表的な IR タスクに対する SSD の有効性を実証します。
私たちの手法は、最先端のゼロショット手法 (100 NFE) と比較して、わずか 30 NFE で競争力のある結果を達成し、特定のタスクでは 100 NFE の手法を上回ります。
コードは https://github.com/GongyeLiu/SSD で入手できます。

要約(オリジナル)

Diffusion models have recently demonstrated an impressive ability to address inverse problems in an unsupervised manner. While existing methods primarily focus on modifying the posterior sampling process, the potential of the forward process remains largely unexplored. In this work, we propose Shortcut Sampling for Diffusion(SSD), a novel approach for solving inverse problems in a zero-shot manner. Instead of initiating from random noise, the core concept of SSD is to find a specific transitional state that bridges the measurement image y and the restored image x. By utilizing the shortcut path of ‘input – transitional state – output’, SSD can achieve precise restoration with fewer steps. To derive the transitional state during the forward process, we introduce Distortion Adaptive Inversion. Moreover, we apply back projection as additional consistency constraints during the generation process. Experimentally, we demonstrate SSD’s effectiveness on multiple representative IR tasks. Our method achieves competitive results with only 30 NFEs compared to state-of-the-art zero-shot methods(100 NFEs) and outperforms them with 100 NFEs in certain tasks. Code is available at https://github.com/GongyeLiu/SSD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google