Do Graph Diffusion Models Accurately Capture and Generate Substructure Distributions?

要約

拡散モデルはグラフ生成タスクにおいて人気を博しているが、学習可能なグラフ分布に関する表現力の程度は十分に理解されていない。他の領域のモデルとは異なり、グラフ変換器のようなグラフ拡散モデルの一般的なバックボーンは、複雑なグラフデータの分布スコアを正確にモデル化するための普遍的な表現力を有していない。我々の研究は、対象とするグラフ分布の主要な特徴として、特定の部分構造の頻度に着目することで、この限界に対処している。この指標を用いて既存のモデルを評価したところ、新しいグラフを生成する際に、学習セットで観測された部分構造数の分布を維持できないことがわかった。この問題に対処するため、グラフニューラルネットワーク（GNN）の表現力とグラフ拡散モデルの全体的な性能との間に理論的な関連を確立し、より表現力の高いGNNのバックボーンが複雑な分布パターンをより良く捉えることができることを実証する。高度なGNNをバックボーンアーキテクチャに統合することで、部分構造生成の大幅な改善を達成した。

要約(オリジナル)

Diffusion models have gained popularity in graph generation tasks; however, the extent of their expressivity concerning the graph distributions they can learn is not fully understood. Unlike models in other domains, popular backbones for graph diffusion models, such as Graph Transformers, do not possess universal expressivity to accurately model the distribution scores of complex graph data. Our work addresses this limitation by focusing on the frequency of specific substructures as a key characteristic of target graph distributions. When evaluating existing models using this metric, we find that they fail to maintain the distribution of substructure counts observed in the training set when generating new graphs. To address this issue, we establish a theoretical connection between the expressivity of Graph Neural Networks (GNNs) and the overall performance of graph diffusion models, demonstrating that more expressive GNN backbones can better capture complex distribution patterns. By integrating advanced GNNs into the backbone architecture, we achieve significant improvements in substructure generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL