Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts

要約

スコアベースの生成モデルは、多様なドメイン全体で選択されたモデルですが、推論時間動作を原則的に制御するために利用可能なツールが限られています。
複数の前提型モデルを作成するため。
既存の分類器のないガイダンス方法は、単純なヒューリスティックを使用して、条件付き分布から条件付きおよび無条件のスコアをほぼサンプルに組み合わせます。
ただし、そのような方法は中間分布を近似していないため、追加の「補正」手順が必要です。
この作業では、前提条件のスコアベースモデルから派生したアニール、幾何平均、または製品分布のシーケンスからサンプリングするための効率的で原則的な方法を提供します。
適切な部分微分方程式（PDE）の用語を慎重に考慮することにより、有名なFeynman-KAC式に基づいて、Feynman-Kac補正（FKCS）と呼ばれる加重シミュレーションスキームを導き出します。
これらのPDEをシミュレートするために、順次のモンテカルロ（SMC）の再サンプリングアルゴリズムを提案します。
推論時間温度アニーリングを介して償却サンプリングを提案し、前処理されたモデルを使用した多目的分子生成を改善し、テキストから画像の生成のための分類器のないガイダンスを改善することにより、方法の有用性を経験的に実証します。
私たちのコードは、https：//github.com/martaskrt/fkc-diffusionで入手できます。

要約(オリジナル)

While score-based generative models are the model of choice across diverse domains, there are limited tools available for controlling inference-time behavior in a principled manner, e.g. for composing multiple pretrained models. Existing classifier-free guidance methods use a simple heuristic to mix conditional and unconditional scores to approximately sample from conditional distributions. However, such methods do not approximate the intermediate distributions, necessitating additional ‘corrector’ steps. In this work, we provide an efficient and principled method for sampling from a sequence of annealed, geometric-averaged, or product distributions derived from pretrained score-based models. We derive a weighted simulation scheme which we call Feynman-Kac Correctors (FKCs) based on the celebrated Feynman-Kac formula by carefully accounting for terms in the appropriate partial differential equations (PDEs). To simulate these PDEs, we propose Sequential Monte Carlo (SMC) resampling algorithms that leverage inference-time scaling to improve sampling quality. We empirically demonstrate the utility of our methods by proposing amortized sampling via inference-time temperature annealing, improving multi-objective molecule generation using pretrained models, and improving classifier-free guidance for text-to-image generation. Our code is available at https://github.com/martaskrt/fkc-diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google