Inverse Problems with Diffusion Models: A MAP Estimation Perspective

要約

逆問題は科学や工学で多くの用途があります。
コンピューター ビジョンでは、修復、ぼやけ除去、超解像度などのいくつかの画像復元タスクを逆問題として形式的にモデル化できます。
最近、事前にトレーニングされた無条件拡散モデルのみを活用し、追加のタスク固有のトレーニングを必要としない、逆問題を解決するための方法が開発されました。
ただし、このような方法では、逆拡散プロセス中に条件付きスコア関数を決定するという本質的な扱いが困難なため、実際のパフォーマンスに影響を与える近似値で解決する方法が残されており、大きな課題となっています。
ここでは、勾配項が扱いやすい、基礎となる MAP 目的の最適化プロセスとして、連続時間拡散モデルの逆条件付き生成プロセスをモデル化する MAP 推定フレームワークを提案します。
理論的には、提案されたフレームワークは、勾配ベースの最適化手法を使用して一般逆問題を解くために適用できます。
ただし、損失目標の非凸性が非常に高いため、完全な勾配ベースの最適化アルゴリズムを見つけるのは非常に困難ですが、それでも、私たちのフレームワークはいくつかの潜在的な研究方向性を提供します。
私たちは提案した定式化を使用して、画像復元のための経験的に効果的なアルゴリズムを開発します。
私たちは、複数の復元タスクにわたる複数のデータセットにわたる広範な実験により、提案したアルゴリズムを検証します。

要約(オリジナル)

Inverse problems have many applications in science and engineering. In Computer vision, several image restoration tasks such as inpainting, deblurring, and super-resolution can be formally modeled as inverse problems. Recently, methods have been developed for solving inverse problems that only leverage a pre-trained unconditional diffusion model and do not require additional task-specific training. In such methods, however, the inherent intractability of determining the conditional score function during the reverse diffusion process poses a real challenge, leaving the methods to settle with an approximation instead, which affects their performance in practice. Here, we propose a MAP estimation framework to model the reverse conditional generation process of a continuous time diffusion model as an optimization process of the underlying MAP objective, whose gradient term is tractable. In theory, the proposed framework can be applied to solve general inverse problems using gradient-based optimization methods. However, given the highly non-convex nature of the loss objective, finding a perfect gradient-based optimization algorithm can be quite challenging, nevertheless, our framework offers several potential research directions. We use our proposed formulation to develop empirically effective algorithms for image restoration. We validate our proposed algorithms with extensive experiments over multiple datasets across several restoration tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google