TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs

要約

【タイトル】
GPUのテンソルコアとスパースGNN計算を接続するTC-GNN

【要約】
– GNN(グラフニューラルネットワーク)は、eコマースなどの様々な分野においてグラフベースの機械学習の基盤として大きな成功を収めている。
– しかし、GNNの性能には、高度にスパースで不規則なグラフベースの演算に起因する問題がある。
– このため、TC-GNNを提案し、GPUのテンソルコアユニット(TCU)に基づく初のGNN加速フレームワークを実現することができた。
– 核心のアイデアは、「スパース」GNN計算を高性能な「デンス」TCUと調和させることにある。
– 具体的には、主要なGNN計算フレームワークのスパース操作を詳細に分析し、スパースGNNワークロードのTCU処理を促進するための新しいスパースグラフ変換技術を導入する。
– GPUリソースを最大限に活用するために、効果的なCUDAコアとTCUのコラボレーションデザインを実現する。
– 高いプログラマビリティを実現するために、PyTorchフレームワークにTC-GNNを統合する。
– 厳密な実験では、様々なモデルとデータセットで、DGLフレームワークの最新技術よりも平均1.70倍の高速化が達成された。
– TC-GNNは、https://github.com/YukeWang96/TCGNN-Pytorch.gitでオープンソース化されている。

要約(オリジナル)

Recently, graph neural networks (GNNs), as the backbone of graph-based machine learning, demonstrate great success in various domains (e.g., e-commerce). However, the performance of GNNs is usually unsatisfactory due to the highly sparse and irregular graph-based operations. To this end, we propose TC-GNN, the first GNN acceleration framework based on GPU Tensor Core Units (TCUs). The core idea is to reconcile the ‘Sparse’ GNN computation with the high-performance ‘Dense’ TCUs. Specifically, we conduct an in-depth analysis of the sparse operations in mainstream GNN computing frameworks. We introduce a novel sparse graph translation technique to facilitate TCU processing of the sparse GNN workload. We implement an effective CUDA core and TCU collaboration design to fully utilize GPU resources. We integrate TC-GNN with the PyTorch framework for high programmability. Rigorous experiments show an average of 1.70X speedup over the state-of-the-art DGL framework across various models and datasets. We open-source TC-GNN at https://github.com/YukeWang96/TCGNN-Pytorch.git

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI