Cached Operator Reordering: A Unified View for Fast GNN Training

要約

グラフ ニューラル ネットワーク (GNN) は、構造化されたグラフ データを処理し、ノード分類、グラフ分類、クラスタリングなどのタスクに対処するための強力なツールです。
ただし、GNN 計算のスパースな性質により、従来のディープ ニューラル ネットワークと比較して、パフォーマンスの最適化に新たな課題が生じます。
私たちは、GNN 計算、I/O、メモリの統合ビューを提供することで、これらの課題に対処します。
広く使用されている 2 つの GNN 層であるグラフ畳み込みネットワーク (GCN) 層とグラフ アテンション (GAT) 層の計算グラフを分析することにより、代替の計算戦略を提案します。
キャッシュを使用した適応型オペレーター並べ替えを紹介します。これにより、現在の最先端技術と比較して GCN で最大 2.43 倍の高速化が達成されます。
さらに、GAT のさまざまなキャッシュ スキームを調査した結果、最大 1.94 倍の高速化が実現しました。
提案された最適化はメモリを節約し、さまざまなハードウェア プラットフォームに簡単に実装でき、大規模な GNN モデルのトレーニングにおけるパフォーマンスのボトルネックを軽減する可能性があります。

要約(オリジナル)

Graph Neural Networks (GNNs) are a powerful tool for handling structured graph data and addressing tasks such as node classification, graph classification, and clustering. However, the sparse nature of GNN computation poses new challenges for performance optimization compared to traditional deep neural networks. We address these challenges by providing a unified view of GNN computation, I/O, and memory. By analyzing the computational graphs of the Graph Convolutional Network (GCN) and Graph Attention (GAT) layers — two widely used GNN layers — we propose alternative computation strategies. We present adaptive operator reordering with caching, which achieves a speedup of up to 2.43x for GCN compared to the current state-of-the-art. Furthermore, an exploration of different caching schemes for GAT yields a speedup of up to 1.94x. The proposed optimizations save memory, are easily implemented across various hardware platforms, and have the potential to alleviate performance bottlenecks in training large-scale GNN models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google