Complex Preferences for Different Convergent Priors in Discrete Graph Diffusion

要約

拡散モデルは、画像、テキスト、ビデオなど、さまざまな種類のデータを生成する際に最先端のパフォーマンスを実現しています。
その成功にもかかわらず、基礎となる拡散プロセスと最終的な収束事前分布が生成パフォーマンスにどのように影響するかについての研究は限られています。
この研究も、連続データ型とスコアベースの拡散フレームワークに限定されています。
このギャップを埋めるために、さまざまな離散拡散カーネル (さまざまな事前分布に収束する) がグラフの拡散モデルのパフォーマンスにどのような影響を与えるかを調査します。
この目的を達成するために、異なるベルヌーイ事前分布に収束するように簡単に調整できる離散拡散カーネルの新しい定式化を開発し、これらの異なるカーネルが生成パフォーマンスに及ぼす影響を研究しました。
我々は、生成されたグラフの品質が事前に使用されたものに影響され、最適な選択は明白な統計や指標では説明できないことを示し、これは以前の研究が示唆していた直観に疑問を投げかけます。

要約(オリジナル)

Diffusion models have achieved state-of-the-art performance in generating many different kinds of data, including images, text, and videos. Despite their success, there has been limited research on how the underlying diffusion process and the final convergent prior can affect generative performance; this research has also been limited to continuous data types and a score-based diffusion framework. To fill this gap, we explore how different discrete diffusion kernels (which converge to different prior distributions) affect the performance of diffusion models for graphs. To this end, we developed a novel formulation of a family of discrete diffusion kernels which are easily adjustable to converge to different Bernoulli priors, and we study the effect of these different kernels on generative performance. We show that the quality of generated graphs is sensitive to the prior used, and that the optimal choice cannot be explained by obvious statistics or metrics, which challenges the intuitions which previous works have suggested.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google