DMPlug: A Plug-in Method for Solving Inverse Problems with Diffusion Models

要約

事前学習済み拡散モデル (DM) は、最近、逆問題 (IP) を解く際に広く使用されています。
既存の方法では、ほとんどの場合、逆拡散プロセスの反復ステップと反復ステップをインターリーブして、反復を測定制約の満足に近づけます。
ただし、このようなインターリーブ手法は、特に非線形 IP の場合、自然の対象物のように見える最終結果 (すなわち、多様体実現可能性) と測定値に適合する (すなわち、測定実現可能性) を生成するのに苦労します。
さらに、測定ノイズの種類やレベルが不明なノイズの多い IP に対処する能力も不明です。
この論文では、DM の逆プロセスを関数として見ることを提唱し、DMPlug と呼ばれる、事前トレーニングされた DM を使用して IP を解決するための新しいプラグイン方法を提案します。
DMPlug は、マニホールドの実現可能性と測定の実現可能性の問題に原則的な方法で対処し、未知の種類とレベルのノイズに対して堅牢であるという大きな可能性も示しています。
2 つの線形 IP と 3 つの非線形 IP を含むさまざまな IP タスクにわたる広範な実験を通じて、DMPlug が常に最先端の手法を上回り、特に非線形 IP では大幅なパフォーマンスを発揮することを実証しました。
コードは https://github.com/sun-umn/DMPlug で入手できます。

要約(オリジナル)

Pretrained diffusion models (DMs) have recently been popularly used in solving inverse problems (IPs). The existing methods mostly interleave iterative steps in the reverse diffusion process and iterative steps to bring the iterates closer to satisfying the measurement constraint. However, such interleaving methods struggle to produce final results that look like natural objects of interest (i.e., manifold feasibility) and fit the measurement (i.e., measurement feasibility), especially for nonlinear IPs. Moreover, their capabilities to deal with noisy IPs with unknown types and levels of measurement noise are unknown. In this paper, we advocate viewing the reverse process in DMs as a function and propose a novel plug-in method for solving IPs using pretrained DMs, dubbed DMPlug. DMPlug addresses the issues of manifold feasibility and measurement feasibility in a principled manner, and also shows great potential for being robust to unknown types and levels of noise. Through extensive experiments across various IP tasks, including two linear and three nonlinear IPs, we demonstrate that DMPlug consistently outperforms state-of-the-art methods, often by large margins especially for nonlinear IPs. The code is available at https://github.com/sun-umn/DMPlug.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google