BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs

要約

タイトル：BitGNN：GPU上でバイナリグラフニューラルネットワークのパフォーマンスポテンシャルを解放する

要約：

– バイナリグラフニューラルネットワーク（GNN）は、バイナライズされたテンソルを使用してGNNの計算を節約することで、有望であることが最近の研究で示されています。
– しかし、これまでの研究は主にアルゴリズムの設計やトレーニング技術に焦点を当てており、アクセラレータハードウェア上でのパフォーマンスポテンシャルを完全に具現化する方法についてはオープンなままでした。
– この研究では、バイナリGNN推論バックエンドを効率の観点から再設計することにより、このギャップを埋めます。
– 提案された抽象化と技術の一連を使用して、バイナリGNNとその計算をGPU上で最適にマッピングし、ビット操作の特性に最適な適合を行います。
– GCNs、GraphSAGE、およびGraphSAINTの実世界のグラフに対する結果は、同じ精度を維持しながら、提案された技術が最先端のバイナリGNN実装を8-22倍上回ることを示しています。
– BitGNNコードは公開されています。

要約(オリジナル)

Recent studies have shown that Binary Graph Neural Networks (GNNs) are promising for saving computations of GNNs through binarized tensors. Prior work, however, mainly focused on algorithm designs or training techniques, leaving it open to how to materialize the performance potential on accelerator hardware fully. This work redesigns the binary GNN inference backend from the efficiency perspective. It fills the gap by proposing a series of abstractions and techniques to map binary GNNs and their computations best to fit the nature of bit manipulations on GPUs. Results on real-world graphs with GCNs, GraphSAGE, and GraphSAINT show that the proposed techniques outperform state-of-the-art binary GNN implementations by 8-22X with the same accuracy maintained. BitGNN code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI