RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations

要約

グラフ・ニューラル・ネットワーク（GNN）の学習は、スパースグラフベースの演算がハードウェアによって高速化されにくいため、非常に時間がかかる。先行技術では、サンプリングに基づく近似により、計算精度をトレードオフして時間の複雑さを軽減することが検討されている。この考え方に基づき、先行技術では、密行列に基づく演算（例えば、畳み込みや線形）を、無視できる程度の精度低下で高速化することに成功している。しかし、密行列とは異なり、疎行列は不規則なデータ形式で保存されるため、各行/列が異なる数の非ゼロ項目を持つ可能性があります。このため、密行列と比較して、疎行列の近似演算には2つの課題があります。(1) 計算は非ゼロエントリに対してのみ実行されるため、疎行列の近似演算の効率を直接制御することができない。この問題に対処するために、我々の重要なアイデアは、レイヤ単位とエポック単位で計算リソースの割り当てを最適化することにより、精度と効率のトレードオフを制御することである。具体的には、1つ目の課題では、計算リソースを異なるスパース演算にカスタマイズする一方、使用リソースの合計を一定の予算以下に制限する。第二の課題に対しては、エポック毎のサンプリングオーバーヘッドを削減するために、過去にサンプリングされたスパース行列をキャッシュする。最後に、近似演算で学習したGNNの汎化を改善するためのスイッチング機構を提案する。この目的のために、我々はランダム化スパース計算を提案し、近似演算でGNNを訓練する可能性を初めて示す。実際には、rscは一つのスパース演算で$11.6times$の高速化を達成し、エンドツーエンドで$1.6times$の壁クロック時間の高速化を達成し、精度の低下は無視できる。

要約(オリジナル)

The training of graph neural networks (GNNs) is extremely time consuming because sparse graph-based operations are hard to be accelerated by hardware. Prior art explores trading off the computational precision to reduce the time complexity via sampling-based approximation. Based on the idea, previous works successfully accelerate the dense matrix based operations (e.g., convolution and linear) with negligible accuracy drop. However, unlike dense matrices, sparse matrices are stored in the irregular data format such that each row/column may have different number of non-zero entries. Thus, compared to the dense counterpart, approximating sparse operations has two unique challenges (1) we cannot directly control the efficiency of approximated sparse operation since the computation is only executed on non-zero entries; (2) sub-sampling sparse matrices is much more inefficient due to the irregular data format. To address the issues, our key idea is to control the accuracy-efficiency trade off by optimizing computation resource allocation layer-wisely and epoch-wisely. Specifically, for the first challenge, we customize the computation resource to different sparse operations, while limit the total used resource below a certain budget. For the second challenge, we cache previous sampled sparse matrices to reduce the epoch-wise sampling overhead. Finally, we propose a switching mechanisms to improve the generalization of GNNs trained with approximated operations. To this end, we propose Randomized Sparse Computation, which for the first time demonstrate the potential of training GNNs with approximated operations. In practice, rsc can achieve up to $11.6\times$ speedup for a single sparse operation and a $1.6\times$ end-to-end wall-clock time speedup with negligible accuracy drop.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL