Large Generative Graph Models

要約

GPT、安定拡散、Sora、Suno などの大規模生成モデル (LGM) は、多数のドメインからの非常に多様な大量の言語コーパス、画像、ビデオ、オーディオでトレーニングされます。
多様で厳選されたデータに対するこのトレーニング パラダイムは、創造的で賢明なコンテンツを生成する中心にあります。
ただし、これまでのグラフ生成モデル (GraphRNN、MDVAE、MoFlow、GDSS、DiGress など) はすべて、毎回 1 つのデータセットのみでトレーニングされており、他の分野で LGM が達成した革命的な成功を再現することはできません。
この重大なギャップを修正するために、13 の異なるドメインからの大規模なグラフ コーパス (5000 を超えるグラフ) でトレーニングされるラージ グラフ生成モデル (LGGM) と呼ばれる新しいクラスのグラフ生成モデルを提案します。
我々は、事前トレーニングされた LGGM が既存のグラフ生成モデルよりも優れたゼロショット生成能力を備えていることを経験的に示しています。
さらに、事前トレーニングされた LGGM は、ターゲット ドメインのグラフを使用して簡単に微調整でき、ゼロから直接トレーニングしたものよりもさらに優れたパフォーマンスを示し、現実世界のカスタマイズの確実な出発点として機能します。
Stable Diffusion からインスピレーションを得て、ネットワーク名とドメインの説明などのテキスト プロンプト (Text-to-Graph) を指定してグラフを生成する機能を LGGM にさらに装備しました (つまり、「power-1138-bus グラフはネットワークを表します」)
配電システム内のバスの数。」）、およびネットワーク統計（つまり、「グラフの平均次数は低く、ソーシャル メディア インタラクションのモデル化に適しています。」）。
この Text-to-Graph 機能は、基盤となる言語モデルに広範な世界の知識を統合し、生成されたグラフをきめ細かく制御できるようにします。
コード、モデル チェックポイント、データセットは https://lggm-lg.github.io/ でリリースされます。

要約(オリジナル)

Large Generative Models (LGMs) such as GPT, Stable Diffusion, Sora, and Suno are trained on a huge amount of language corpus, images, videos, and audio that are extremely diverse from numerous domains. This training paradigm over diverse well-curated data lies at the heart of generating creative and sensible content. However, all previous graph generative models (e.g., GraphRNN, MDVAE, MoFlow, GDSS, and DiGress) have been trained only on one dataset each time, which cannot replicate the revolutionary success achieved by LGMs in other fields. To remedy this crucial gap, we propose a new class of graph generative model called Large Graph Generative Model (LGGM) that is trained on a large corpus of graphs (over 5000 graphs) from 13 different domains. We empirically demonstrate that the pre-trained LGGM has superior zero-shot generative capability to existing graph generative models. Furthermore, our pre-trained LGGM can be easily fine-tuned with graphs from target domains and demonstrate even better performance than those directly trained from scratch, behaving as a solid starting point for real-world customization. Inspired by Stable Diffusion, we further equip LGGM with the capability to generate graphs given text prompts (Text-to-Graph), such as the description of the network name and domain (i.e., ‘The power-1138-bus graph represents a network of buses in a power distribution system.’), and network statistics (i.e., ‘The graph has a low average degree, suitable for modeling social media interactions.’). This Text-to-Graph capability integrates the extensive world knowledge in the underlying language model, offering users fine-grained control of the generated graphs. We release the code, the model checkpoint, and the datasets at https://lggm-lg.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google