Deep Data Consistency: a Fast and Robust Diffusion Model-based Solver for Inverse Problems

要約

拡散モデルは、強力な拡散事前処理を提供することにより、さまざまなイメージの逆問題を解決するための成功したアプローチとなっています。
多くの研究では、スコア関数の置換、行列分解、または最適化アルゴリズムによって測定を拡散に組み合わせようとしましたが、データの一貫性と現実性のバランスを取るのは困難です。
サンプリング速度が遅いことも、幅広い用途への主な障害となっています。
この課題に対処するために、拡散モデルで逆問題を解決する際に、深層学習モデルでデータ整合性ステップを更新する Deep Data Consistency (DDC) を提案します。
既存の方法を分析することにより、変分限界トレーニング目標を使用して、条件付き事後分布を最大化し、拡散プロセスへの影響を軽減します。
線形および非線形タスクにおける最先端の手法と比較して、DDC は、平均 0.77 秒でわずか 5 つの推論ステップで高品質のソリューションを生成する際に、類似性と現実性のメトリクスの両方で優れたパフォーマンスを示します。
さらに、DDC の堅牢性は、大きなノイズと 1 つの事前トレーニング済みモデルのみで複数のタスクを解決できる能力を備えたデータセットにわたる実験でよく示されています。

要約(オリジナル)

Diffusion models have become a successful approach for solving various image inverse problems by providing a powerful diffusion prior. Many studies tried to combine the measurement into diffusion by score function replacement, matrix decomposition, or optimization algorithms, but it is hard to balance the data consistency and realness. The slow sampling speed is also a main obstacle to its wide application. To address the challenges, we propose Deep Data Consistency (DDC) to update the data consistency step with a deep learning model when solving inverse problems with diffusion models. By analyzing existing methods, the variational bound training objective is used to maximize the conditional posterior and reduce its impact on the diffusion process. In comparison with state-of-the-art methods in linear and non-linear tasks, DDC demonstrates its outstanding performance of both similarity and realness metrics in generating high-quality solutions with only 5 inference steps in 0.77 seconds on average. In addition, the robustness of DDC is well illustrated in the experiments across datasets, with large noise and the capacity to solve multiple tasks in only one pre-trained model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google