ReGuidance: A Simple Diffusion Wrapper for Boosting Sample Quality on Hard Inverse Problems

要約

逆の問題を解決するための情報に基づいたデータ事前に、より一般的には報酬モデルを使用してこれらのモデルを操縦することを中心に、前提条件の拡散モデルを使用して活動が急増しています。
拡散後のサンプリング（DPS）などのトレーニングフリーの方法やその多くのバリエーションは、これらのタスクに柔軟なヒューリスティックアルゴリズムを提供していますが、報酬が十分に有益ではない場合、たとえば、信号対雑音比が低いため、これらの技術が現実的な出力を生成することに失敗したデータのマニフェルを排除します。
この作業では、これらの方法によって達成されたサンプルのリアリズムと報酬の両方を高めるために、単純なラッパーであるレジダンスを考案します。
ユーザーが選択したアルゴリズムによって生成された候補ソリューション$ \ hat {x} $が与えられた場合、$ \ hat {x} $から逆に逆に逆にフローオードを実行し、結果の潜在性をDPSの初期化として使用することにより、ソリューションを反転することを提案します。
ラッパーを、大きな箱のインペーティングやスーパー解像度のような困難な逆の問題について評価します。
最先端のベースラインは目に見えて失敗しますが、これらのベースラインの上にラッパーを適用すると、サンプルの品質と測定の一貫性が大幅に向上することがわかります。
特定のマルチモーダルデータ分布で、レジダンスが報酬を同時に高め、候補ソリューションをデータマニホールドに近づけることを証明する理論でこれらの発見を補完します。
私たちの知る限り、これはDPSの最初の厳密なアルゴリズム保証を構成します。

要約(オリジナル)

There has been a flurry of activity around using pretrained diffusion models as informed data priors for solving inverse problems, and more generally around steering these models using reward models. Training-free methods like diffusion posterior sampling (DPS) and its many variants have offered flexible heuristic algorithms for these tasks, but when the reward is not informative enough, e.g., in hard inverse problems with low signal-to-noise ratio, these techniques veer off the data manifold, failing to produce realistic outputs. In this work, we devise a simple wrapper, ReGuidance, for boosting both the sample realism and reward achieved by these methods. Given a candidate solution $\hat{x}$ produced by an algorithm of the user’s choice, we propose inverting the solution by running the unconditional probability flow ODE in reverse starting from $\hat{x}$, and then using the resulting latent as an initialization for DPS. We evaluate our wrapper on hard inverse problems like large box in-painting and super-resolution with high upscaling. Whereas state-of-the-art baselines visibly fail, we find that applying our wrapper on top of these baselines significantly boosts sample quality and measurement consistency. We complement these findings with theory proving that on certain multimodal data distributions, ReGuidance simultaneously boosts the reward and brings the candidate solution closer to the data manifold. To our knowledge, this constitutes the first rigorous algorithmic guarantee for DPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google