GNNBENCH: Fair and Productive Benchmarking for Single-GPU GNN System

要約

私たちは、標準化されたベンチマークの欠如により、GNN システムの設計と評価においてコミュニティが見落としていたいくつかの根本的な落とし穴が発生したのではないかと仮説を立てています。
この研究では、システムの革新に焦点を当てたプラグアンドプレイのベンチマーク プラットフォームである GNNBench を提案します。
GNNBench は、キャプティブ テンソル データを交換するための新しいプロトコルを提供し、システム API のカスタム クラスをサポートし、同じシステム モジュールを PyTorch や TensorFlow などの多くの深層学習フレームワークに自動的に統合できるようにします。
このようなベンチマーク フレームワークの重要性を実証するために、いくつかの GNN システムを統合しました。
私たちの結果は、GNNNBench との統合により、コミュニティの注目に値するいくつかの測定上の問題を特定するのに役立ったことを示しています。

要約(オリジナル)

We hypothesize that the absence of a standardized benchmark has allowed several fundamental pitfalls in GNN System design and evaluation that the community has overlooked. In this work, we propose GNNBench, a plug-and-play benchmarking platform focused on system innovation. GNNBench presents a new protocol to exchange their captive tensor data, supports custom classes in System APIs, and allows automatic integration of the same system module to many deep learning frameworks, such as PyTorch and TensorFlow. To demonstrate the importance of such a benchmark framework, we integrated several GNN systems. Our results show that integration with GNNBench helped us identify several measurement issues that deserve attention from the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google