DiskGNN: Bridging I/O Efficiency and Model Accuracy for Out-of-Core GNN Training

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ データに特化した機械学習モデルであり、多くのアプリケーションで広く使用されています。
CPU メモリを超える大規模なグラフで GNN をトレーニングするために、いくつかのシステムはデータをディスクに保存し、アウトオブコア処理を実行します。
ただし、これらのシステムでは、通常ディスク ページより小さいノード フィーチャを読み取るときに読み取り増幅が発生したり、グラフを切断されたパーティションとして扱うことでモデル精度が低下したりする問題が発生します。
このギャップを埋めるために、DiskGNN と呼ばれるシステムを構築します。これは、高い I/O 効率を実現し、モデルの精度を損なうことなく高速トレーニングを実現します。
DiskGNN で使用される主要な手法はオフライン サンプリングです。これは、グラフ サンプリングをモデル計算から切り離すのに役立ちます。
特に、DiskGNN は事前にグラフ サンプリングを行うことにより、モデル計算でアクセスされるノードの特徴を取得し、その情報を利用してターゲット ノードの特徴をディスク上に連続してパックし、読み取り増幅を回避します。
さらに、 \name{} は、メモリ階層を最大限に活用してノードの特徴をキャッシュしてディスク アクセスを削減する 4 レベルの特徴ストア、特徴パッキング プロセスを高速化するバッチ パッキング、ディスク アクセスを他の操作と重複させるパイプライン トレーニングなどの設計も採用しています。
DiskGNN を、アウトオブコア GNN トレーニング用の最先端システムである Ginex および MariusGNN と比較します。
結果は、DiskGNN が最高のモデル精度に匹敵しながら、ベースラインを 8 倍以上高速化できることを示しています。

要約(オリジナル)

Graph neural networks (GNNs) are machine learning models specialized for graph data and widely used in many applications. To train GNNs on large graphs that exceed CPU memory, several systems store data on disk and conduct out-of-core processing. However, these systems suffer from either read amplification when reading node features that are usually smaller than a disk page or degraded model accuracy by treating the graph as disconnected partitions. To close this gap, we build a system called DiskGNN, which achieves high I/O efficiency and thus fast training without hurting model accuracy. The key technique used by DiskGNN is offline sampling, which helps decouple graph sampling from model computation. In particular, by conducting graph sampling beforehand, DiskGNN acquires the node features that will be accessed by model computation, and such information is utilized to pack the target node features contiguously on disk to avoid read amplification. Besides, \name{} also adopts designs including four-level feature store to fully utilize the memory hierarchy to cache node features and reduce disk access, batched packing to accelerate the feature packing process, and pipelined training to overlap disk access with other operations. We compare DiskGNN with Ginex and MariusGNN, which are state-of-the-art systems for out-of-core GNN training. The results show that DiskGNN can speed up the baselines by over 8x while matching their best model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google