LayerDAG: A Layerwise Autoregressive Diffusion Model for Directed Acyclic Graph Generation

要約

有向非巡回グラフ (DAG) は、コンピューティング システムのハードウェア合成やコンパイラ/プログラムの最適化などの分野で重要なデータ表現として機能します。
DAG 生成モデルは、知的財産を保護しながらコンピューティング システムのベンチマークに使用できる合成 DAG の作成を容易にします。
ただし、現実的な DAG を生成することは、DAG に固有の方向的および論理的な依存関係があるため、困難です。
このペーパーでは、これらの課題に対処するための自己回帰拡散モデルである LayerDAG を紹介します。
LayerDAG は、ノードの強力な依存関係を、順次処理できる管理可能な単位に分離します。
LayerDAG は、ノードの半順序を 2 部グラフのシーケンスとして解釈することで、自己回帰生成を利用して方向依存関係をモデル化し、拡散モデルを使用して各 2 部グラフ内の論理依存関係をキャプチャします。
比較分析により、特にシステム ベンチマークの重要なシナリオである最大 400 ノードの大規模 DAG の生成において、LayerDAG が表現力と一般化の両方で既存の DAG 生成モデルよりも優れていることが実証されました。
さまざまなコンピューティング プラットフォームからの合成フロー グラフと現実世界のフロー グラフの両方に関する広範な実験により、LayerDAG が優れた統計特性とベンチマーク パフォーマンスを備えた有効な DAG を生成することが示されました。
LayerDAG によって生成された合成 DAG は、ML ベースのサロゲート モデルのトレーニングを強化し、その結果、さまざまなコンピューティング プラットフォームにわたる現実世界の DAG のパフォーマンス メトリクスの予測精度が向上します。

要約(オリジナル)

Directed acyclic graphs (DAGs) serve as crucial data representations in domains such as hardware synthesis and compiler/program optimization for computing systems. DAG generative models facilitate the creation of synthetic DAGs, which can be used for benchmarking computing systems while preserving intellectual property. However, generating realistic DAGs is challenging due to their inherent directional and logical dependencies. This paper introduces LayerDAG, an autoregressive diffusion model, to address these challenges. LayerDAG decouples the strong node dependencies into manageable units that can be processed sequentially. By interpreting the partial order of nodes as a sequence of bipartite graphs, LayerDAG leverages autoregressive generation to model directional dependencies and employs diffusion models to capture logical dependencies within each bipartite graph. Comparative analyses demonstrate that LayerDAG outperforms existing DAG generative models in both expressiveness and generalization, particularly for generating large-scale DAGs with up to 400 nodes-a critical scenario for system benchmarking. Extensive experiments on both synthetic and real-world flow graphs from various computing platforms show that LayerDAG generates valid DAGs with superior statistical properties and benchmarking performance. The synthetic DAGs generated by LayerDAG enhance the training of ML-based surrogate models, resulting in improved accuracy in predicting performance metrics of real-world DAGs across diverse computing platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google