Discriminator Guidance for Autoregressive Diffusion Models

要約

自己回帰拡散モデルの設定に弁別ガイダンスを導入します。
拡散プロセスをガイドするためのディスクリミネーターの使用は、これまで連続拡散モデルに使用されてきました。この研究では、離散ケースで事前トレーニングされた生成モデルとディスクリミネーターを併用する方法を導き出します。
まず、最適な識別子を使用すると、事前トレーニングされたモデルが修正され、基礎となるデータ分布からの正確なサンプリングが可能になることを示します。
次に、次善の識別器を使用する現実的なシナリオを考慮して、生成プロセス中に識別器からの予測を繰り返し考慮する逐次モンテカルロ アルゴリズムを導出します。
分子グラフを生成するタスクでこれらのアプローチをテストし、事前学習済みモデルのみを使用する場合と比較して、ディスクリミネーターがどのように生成パフォーマンスを向上させるかを示します。

要約(オリジナル)

We introduce discriminator guidance in the setting of Autoregressive Diffusion Models. The use of a discriminator to guide a diffusion process has previously been used for continuous diffusion models, and in this work we derive ways of using a discriminator together with a pretrained generative model in the discrete case. First, we show that using an optimal discriminator will correct the pretrained model and enable exact sampling from the underlying data distribution. Second, to account for the realistic scenario of using a sub-optimal discriminator, we derive a sequential Monte Carlo algorithm which iteratively takes the predictions from the discrimiator into account during the generation process. We test these approaches on the task of generating molecular graphs and show how the discriminator improves the generative performance over using only the pretrained model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google