Amortizing intractable inference in diffusion models for vision, language, and control

要約

拡散モデルは、視覚、言語、強化学習における効果的な分布推定器として登場しましたが、下流のタスクで事前分布として使用すると、事後推論の困難な問題が生じます。
この論文では、事後データの償却サンプリング $\mathbf{x}\sim p^{\rm post}(\mathbf{x})\propto p(\mathbf{x})r(\mathbf{x} について研究します。
)$、事前の拡散生成モデル $p(\mathbf{x})$ とブラックボックス制約または尤度関数 $r(\mathbf{x})$ で構成されるモデル。
我々は、この事後からサンプリングする拡散モデルをトレーニングするための、データフリーの学習目標である相対軌道バランスの漸近的正しさを述べ、証明します。この問題は、既存の方法では近似的に、または限られた場合にしか解決できません。
相対的な軌道バランスは、拡散モデルに関する生成フロー ネットワークの観点から生まれ、深層強化学習技術を使用してモード カバレッジを向上させることができます。
実験では、視覚 (分類子ガイダンス)、言語 (離散拡散 LLM に基づく埋め込み)、およびマルチモーダル データ (テキストから画像への生成) など、拡散事前分布に基づく任意の事後推定の不偏推論の広範な可能性を示しています。
生成モデリングを超えて、事前のスコアベースの動作による連続制御の問題に相対軌道バランスを適用し、オフライン強化学習のベンチマークで最先端の結果を達成しました。

要約(オリジナル)

Diffusion models have emerged as effective distribution estimators in vision, language, and reinforcement learning, but their use as priors in downstream tasks poses an intractable posterior inference problem. This paper studies amortized sampling of the posterior over data, $\mathbf{x}\sim p^{\rm post}(\mathbf{x})\propto p(\mathbf{x})r(\mathbf{x})$, in a model that consists of a diffusion generative model prior $p(\mathbf{x})$ and a black-box constraint or likelihood function $r(\mathbf{x})$. We state and prove the asymptotic correctness of a data-free learning objective, relative trajectory balance, for training a diffusion model that samples from this posterior, a problem that existing methods solve only approximately or in restricted cases. Relative trajectory balance arises from the generative flow network perspective on diffusion models, which allows the use of deep reinforcement learning techniques to improve mode coverage. Experiments illustrate the broad potential of unbiased inference of arbitrary posteriors under diffusion priors: in vision (classifier guidance), language (infilling under a discrete diffusion LLM), and multimodal data (text-to-image generation). Beyond generative modeling, we apply relative trajectory balance to the problem of continuous control with a score-based behavior prior, achieving state-of-the-art results on benchmarks in offline reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google