Critical Iterative Denoising: A Discrete Generative Model Applied to Graphs

要約

離散拡散モデルとフローマッチングモデルには、グラフを含む離散構造の生成モデリングが大幅に進んでいます。
ただし、これらのモデルのノーシングプロセスの時間依存性は、後方プロセス中のエラーの蓄積と伝播につながります。
特にマスク拡散で発音されるこの問題は、シーケンスモデリングの既知の制限であり、示すように、グラフの個別の拡散モデルにも影響します。
この問題に対処するために、繰り返し除去と呼ばれる新しいフレームワークを提案します。これは、離散拡散を簡素化し、条件付きの独立性を時間を越えて仮定することで問題を回避することを提案します。
さらに、生成中にデータ分布の下での可能性に基づいて要素を選択的に保持または破損する批評家を組み込むことにより、モデルを強化します。
私たちの経験的評価は、提案された方法がグラフ生成タスクの既存の離散拡散ベースラインを大幅に上回ることを示しています。

要約(オリジナル)

Discrete Diffusion and Flow Matching models have significantly advanced generative modeling for discrete structures, including graphs. However, the time dependencies in the noising process of these models lead to error accumulation and propagation during the backward process. This issue, particularly pronounced in mask diffusion, is a known limitation in sequence modeling and, as we demonstrate, also impacts discrete diffusion models for graphs. To address this problem, we propose a novel framework called Iterative Denoising, which simplifies discrete diffusion and circumvents the issue by assuming conditional independence across time. Additionally, we enhance our model by incorporating a Critic, which during generation selectively retains or corrupts elements in an instance based on their likelihood under the data distribution. Our empirical evaluations demonstrate that the proposed method significantly outperforms existing discrete diffusion baselines in graph generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google