GNNavigator: Towards Adaptive Training of Graph Neural Networks via Automatic Guideline Exploration

要約

グラフ ニューラル ネットワーク (GNN) は、最近多くのアプリケーションで大きな成功を収めています。
ただし、GNN トレーニングのランタイム コスト、メモリ消費量、さまざまなアプリケーションで達成可能な精度のバランスをとることは簡単ではありません。
以前のトレーニング方法論は適応性に劣り、統合されたトレーニング最適化ソリューションが不足していました。
この問題に対処するために、この研究では、適応型 GNN トレーニング構成最適化フレームワークである GNNavigator を提案しています。
GNNavigator は、統合されたソフトウェアとハ​​ードウェアの共同抽象化、提案された GNN トレーニング パフォーマンス モデル、および実用的な設計空間探索ソリューションにより、さまざまな GNN アプリケーション要件を満たします。
実験結果は、GNNavigator が最先端のアプローチと同等の精度で最大 3.1 倍の高速化と 44.9% のピーク メモリ削減を達成できることを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) succeed significantly in many applications recently. However, balancing GNNs training runtime cost, memory consumption, and attainable accuracy for various applications is non-trivial. Previous training methodologies suffer from inferior adaptability and lack a unified training optimization solution. To address the problem, this work proposes GNNavigator, an adaptive GNN training configuration optimization framework. GNNavigator meets diverse GNN application requirements due to our unified software-hardware co-abstraction, proposed GNNs training performance model, and practical design space exploration solution. Experimental results show that GNNavigator can achieve up to 3.1x speedup and 44.9% peak memory reduction with comparable accuracy to state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google