Efficient Heterogeneous Graph Learning via Random Projection

要約

異種グラフニューラルネットワーク（HGNN）は、異種グラフ上でのディープラーニングのための強力なツールである。典型的なHGNNは、学習中に繰り返しメッセージパッシングを必要とするため、大規模な実世界のグラフに対する効率が制限される。最近の事前計算ベースのHGNNは、1回のメッセージパッシングで異種グラフを規則的な形のテンソルに変換し、効率的なミニバッチ学習を可能にする。既存の事前計算ベースのHGNNは、主に2つのスタイルに分類することができ、許容される情報ロスの大きさと効率性が異なる。我々は、ランダム投影異種グラフニューラルネットワーク（RpHGNN）と名付けられたハイブリッド事前計算ベースのHGNNを提案する。効率を達成するために、RpHGNNの主要なフレームワークは伝播-更新の繰り返しから構成され、複雑さが線形にしか増加しないようにランダム投影スカッシングステップを導入している。低い情報損失を達成するために、我々は偶奇伝播スキームを持つ関係論的隣接収集コンポーネントを導入し、よりきめ細かい方法で隣接からの情報を収集することを目的とする。実験の結果、我々のアプローチは大小7つのベンチマークデータセットにおいて最先端の結果を達成し、同時に最も効果的なベースラインと比較して230%高速であることが示された。驚くべきことに、我々のアプローチは前処理ベースのベースラインを上回るだけでなく、エンドツーエンドの手法も上回る。

要約(オリジナル)

Heterogeneous Graph Neural Networks (HGNNs) are powerful tools for deep learning on heterogeneous graphs. Typical HGNNs require repetitive message passing during training, limiting efficiency for large-scale real-world graphs. Recent pre-computation-based HGNNs use one-time message passing to transform a heterogeneous graph into regular-shaped tensors, enabling efficient mini-batch training. Existing pre-computation-based HGNNs can be mainly categorized into two styles, which differ in how much information loss is allowed and efficiency. We propose a hybrid pre-computation-based HGNN, named Random Projection Heterogeneous Graph Neural Network (RpHGNN), which combines the benefits of one style’s efficiency with the low information loss of the other style. To achieve efficiency, the main framework of RpHGNN consists of propagate-then-update iterations, where we introduce a Random Projection Squashing step to ensure that complexity increases only linearly. To achieve low information loss, we introduce a Relation-wise Neighbor Collection component with an Even-odd Propagation Scheme, which aims to collect information from neighbors in a finer-grained way. Experimental results indicate that our approach achieves state-of-the-art results on seven small and large benchmark datasets while also being 230% faster compared to the most effective baseline. Surprisingly, our approach not only surpasses pre-processing-based baselines but also outperforms end-to-end methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL