BiFeat: Supercharge GNN Training via Graph Feature Quantization

要約

グラフ ニューラル ネットワーク (GNN) は、非ユークリッド データを使用するアプリケーションにとって有望なアプローチです。
ただし、数億のノードを持つ大規模なグラフで GNN をトレーニングするには、リソースと時間がかかります。
DNN とは異なり、GNN は通常、メモリ フットプリントが大きいため、GPU メモリ容量と PCIe 帯域幅が GNN トレーニングの主なリソースのボトルネックになります。
この問題に対処するために、BiFeat を提示します。これは、GNN が GPU コンピューティング機能を最大限に活用できるように、メモリ フットプリントと PCIe 帯域幅要件を大幅に削減することで GNN トレーニングを高速化するグラフ機能量子化手法です。
私たちの重要な洞察は、DNN とは異なり、GNN は量子化によって引き起こされる入力機能の情報損失が少ないということです。
グラフ機能の量子化における主な精度の影響要因を特定し、BiFeat トレーニングが非圧縮ネットワークの最適な損失の $\epsilon$ 以内に収まるネットワークに収束することを理論的に証明します。
最大の公開グラフ データセットである MAG240M 上の GraphSAGE を含む、いくつかの一般的な GNN モデルとデータセットを使用して、BiFeat の広範な評価を実行します。
この結果は、BiFeat が 30 を超える圧縮率を達成し、GNN のトレーニング速度を 200% ～ 320% 向上させることを示していますが、精度はわずかに低下します。
特に、BiFeat は MAG240M で GraphSAGE を 4 つの GPU のみを使用して 1 時間以内にトレーニングするという記録を達成しています。

要約(オリジナル)

Graph Neural Networks (GNNs) is a promising approach for applications with nonEuclidean data. However, training GNNs on large scale graphs with hundreds of millions nodes is both resource and time consuming. Different from DNNs, GNNs usually have larger memory footprints, and thus the GPU memory capacity and PCIe bandwidth are the main resource bottlenecks in GNN training. To address this problem, we present BiFeat: a graph feature quantization methodology to accelerate GNN training by significantly reducing the memory footprint and PCIe bandwidth requirement so that GNNs can take full advantage of GPU computing capabilities. Our key insight is that unlike DNN, GNN is less prone to the information loss of input features caused by quantization. We identify the main accuracy impact factors in graph feature quantization and theoretically prove that BiFeat training converges to a network where the loss is within $\epsilon$ of the optimal loss of uncompressed network. We perform extensive evaluation of BiFeat using several popular GNN models and datasets, including GraphSAGE on MAG240M, the largest public graph dataset. The results demonstrate that BiFeat achieves a compression ratio of more than 30 and improves GNN training speed by 200%-320% with marginal accuracy loss. In particular, BiFeat achieves a record by training GraphSAGE on MAG240M within one hour using only four GPUs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google