Test-Time Alignment of Discrete Diffusion Models with Sequential Monte Carlo

要約

離散拡散モデルは、さまざまなドメインで非常に効果的になりました。
ただし、実際のアプリケーションは、多くの場合、特定の制約を順守するために生成プロセスを必要としますが、タスク固有の微調整はありません。
この目的のために、テスト時に報酬に整列したターゲット分布からサンプリングするためのシーケンシャルモンテカルロ（SMC）に基づくトレーニングなしの方法を提案します。
私たちのアプローチは、Tisted SMCを、報酬関数の1次Taylor拡張を介して取得された、局所的に最適なおおよその提案で活用しています。
離散空間で不明確な勾配の課題に対処するために、Gumbel-SoftMax緩和を組み込み、離散生成フレームワーク内で効率的な勾配ベースの近似を可能にします。
合成データセットと画像モデリングの両方での経験的結果は、アプローチの有効性を検証します。

要約(オリジナル)

Discrete diffusion models have become highly effective across various domains. However, real-world applications often require the generative process to adhere to certain constraints but without task-specific fine-tuning. To this end, we propose a training-free method based on Sequential Monte Carlo (SMC) to sample from the reward-aligned target distribution at the test time. Our approach leverages twisted SMC with an approximate locally optimal proposal, obtained via a first-order Taylor expansion of the reward function. To address the challenge of ill-defined gradients in discrete spaces, we incorporate a Gumbel-Softmax relaxation, enabling efficient gradient-based approximation within the discrete generative framework. Empirical results on both synthetic datasets and image modelling validate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google