Towards Sparsification of Graph Neural Networks

要約

実世界のグラフのサイズが拡大するにつれて、数十億のパラメーターを持つより大きな GNN モデルが展開されます。
このようなモデルのパラメーター数が多いと、グラフのトレーニングと推論が高価で困難になります。
GNN の計算コストとメモリ コストを削減するために、入力グラフの冗長なノードやエッジの枝刈りなどの最適化手法が一般的に採用されてきました。
ただし、モデル レイヤーのスパース化を直接対象とするモデル圧縮は、画像分類やオブ​​ジェクト検出などのタスクに使用される従来のディープ ニューラル ネットワーク (DNN) にほとんど限定されていました。
このホワイト ペーパーでは、2 つの最先端のモデル圧縮方法 (1) トレーニングとプルーン、および (2) GNN の重みレイヤーのスパース化のためのスパース トレーニングを利用します。
精度、スパース性のトレーニング、および実際のグラフでの FLOP のトレーニングの観点から、両方の方法の効率を評価して比較します。
私たちの実験結果は、リンク予測のための ia-email、wiki-talk、および stackoverflow データセットで、はるかに低いトレーニング FLOP を使用したスパース トレーニングが、train および prune メソッドと同等の精度を達成することを示しています。
ノード分類のブレイン データセットでは、スパース トレーニングはより少ない数の FLOP (トレーニングとプルーン メソッドの 1/7 FLOP 未満) を使用し、極端なモデル スパース性の下ではるかに優れた精度パフォーマンスを維持します。

要約(オリジナル)

As real-world graphs expand in size, larger GNN models with billions of parameters are deployed. High parameter count in such models makes training and inference on graphs expensive and challenging. To reduce the computational and memory costs of GNNs, optimization methods such as pruning the redundant nodes and edges in input graphs have been commonly adopted. However, model compression, which directly targets the sparsification of model layers, has been mostly limited to traditional Deep Neural Networks (DNNs) used for tasks such as image classification and object detection. In this paper, we utilize two state-of-the-art model compression methods (1) train and prune and (2) sparse training for the sparsification of weight layers in GNNs. We evaluate and compare the efficiency of both methods in terms of accuracy, training sparsity, and training FLOPs on real-world graphs. Our experimental results show that on the ia-email, wiki-talk, and stackoverflow datasets for link prediction, sparse training with much lower training FLOPs achieves a comparable accuracy with the train and prune method. On the brain dataset for node classification, sparse training uses a lower number FLOPs (less than 1/7 FLOPs of train and prune method) and preserves a much better accuracy performance under extreme model sparsity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google