SiHGNN: Leveraging Properties of Semantic Graphs for Efficient HGNN Acceleration

要約

異種グラフ ニューラル ネットワーク (HGNN) は、グラフ表現学習を異種グラフ フィールドに拡張しました。
最近の研究では、医療分析や推奨システムを含むさまざまなアプリケーションにわたってその優れたパフォーマンスが実証されており、多くの場合、既存の方法を上回っています。
ただし、GPU は、その独特で複雑な実行パターンにより、HGNN を実行する際に非効率が発生することがよくあります。
従来のグラフ ニューラル ネットワークと比較して、これらのパターンはメモリ アクセスの不規則性をさらに悪化させます。
これらの課題に取り組むために、最近の研究は HGNN 用のドメイン固有のアクセラレータの開発に焦点を当てています。
それにもかかわらず、これらの取り組みのほとんどは、データパスの最適化やデータ アクセスのスケジューリングに集中しており、トポロジ、レイアウト、生成など、セマンティック グラフの固有の特性を活用することで得られる潜在的な利点はほとんど見落とされています。
この作業では、セマンティック グラフのプロパティを活用して HGNN のパフォーマンスを向上させることに焦点を当てています。
まず、セマンティック グラフ ビルド (SGB) ステージを分析し、セマンティック グラフ生成中にデータを再利用する重要な機会を特定します。
次に、グラフ特徴処理 (GFP) 段階でのバッファ スラッシングの現象を明らかにし、セマンティック グラフ レイアウトにおける潜在的な最適化の機会を明らかにします。
さらに、SiHGNN と呼ばれる HGNN 用の軽量ハードウェア アクセラレータ フロントエンドを提案します。
このアクセラレータ フロントエンドには、セマンティック グラフを効率的に生成するためのツリーベースのセマンティック グラフ ビルダーが組み込まれており、セマンティック グラフのレイアウトを最適化するための新しいグラフ リストラクラーを備えています。
実験結果は、SiHGNN により最先端の HGNN アクセラレータが平均 2.95$\times$ のパフォーマンス向上を達成できることを示しています。

要約(オリジナル)

Heterogeneous Graph Neural Networks (HGNNs) have expanded graph representation learning to heterogeneous graph fields. Recent studies have demonstrated their superior performance across various applications, including medical analysis and recommendation systems, often surpassing existing methods. However, GPUs often experience inefficiencies when executing HGNNs due to their unique and complex execution patterns. Compared to traditional Graph Neural Networks, these patterns further exacerbate irregularities in memory access. To tackle these challenges, recent studies have focused on developing domain-specific accelerators for HGNNs. Nonetheless, most of these efforts have concentrated on optimizing the datapath or scheduling data accesses, while largely overlooking the potential benefits that could be gained from leveraging the inherent properties of the semantic graph, such as its topology, layout, and generation. In this work, we focus on leveraging the properties of semantic graphs to enhance HGNN performance. First, we analyze the Semantic Graph Build (SGB) stage and identify significant opportunities for data reuse during semantic graph generation. Next, we uncover the phenomenon of buffer thrashing during the Graph Feature Processing (GFP) stage, revealing potential optimization opportunities in semantic graph layout. Furthermore, we propose a lightweight hardware accelerator frontend for HGNNs, called SiHGNN. This accelerator frontend incorporates a tree-based Semantic Graph Builder for efficient semantic graph generation and features a novel Graph Restructurer for optimizing semantic graph layouts. Experimental results show that SiHGNN enables the state-of-the-art HGNN accelerator to achieve an average performance improvement of 2.95$\times$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google