Multi-Granular Attention based Heterogeneous Hypergraph Neural Network

要約

不均一なグラフニューラルネットワーク（hetegnns）は、異種グラフで複雑な構造情報と意味情報を効果的に抽出することにより、ノード表現を学習する強力な能力を実証しています。
一般的なhetegnnsのほとんどは、近隣の集約パラダイムに従い、メタパスベースのメッセージの合格を活用して潜在的なノード表現を学習します。
ただし、メタパスのペアワイズ性により、これらのモデルはノード間の高次の関係をキャプチャできず、最適ではないパフォーマンスが発生します。
さらに、ヘテグンでの長距離メッセージが渡される「クランシング過剰」の課題は、深刻な情報の歪みにつながり、これらのモデルの有効性をさらに制限します。
これらの制限に対処するために、このホワイトペーパーでは、異種グラフ表現学習のための多粒の注意に基づいた不均一なハイパーグラフニューラルネットワークであるMGA-HHNを提案します。
MGA-HHNは、2つの重要なイノベーションを導入します。（1）複数のビューを通じて異種グラフの高次セマンティック情報を明示的にモデル化するメタパスベースの異種ハイパーグラフを構築するための新しいアプローチと、（2）ノードとハイパーエッジレベルで動作する多粒の注意メカニズム。
このメカニズムにより、モデルは、ハイパーエッジタイプ内で同じセマンティックコンテキストを共有するノード間で細粒の相互作用をキャプチャし、異なるハイパーエッジタイプにわたってセマンティクスの多様性を維持します。
そのため、MGA-HHNは長距離メッセージの歪みを効果的に軽減し、より表現力のあるノード表現を生成します。
実世界のベンチマークデータセットでの広範な実験は、MGA-HHNが最先端のモデルを上回り、ノード分類、ノードクラスタリング、視覚化タスクにおける有効性を紹介することを示しています。

要約(オリジナル)

Heterogeneous graph neural networks (HeteGNNs) have demonstrated strong abilities to learn node representations by effectively extracting complex structural and semantic information in heterogeneous graphs. Most of the prevailing HeteGNNs follow the neighborhood aggregation paradigm, leveraging meta-path based message passing to learn latent node representations. However, due to the pairwise nature of meta-paths, these models fail to capture high-order relations among nodes, resulting in suboptimal performance. Additionally, the challenge of “over-squashing”, where long-range message passing in HeteGNNs leads to severe information distortion, further limits the efficacy of these models. To address these limitations, this paper proposes MGA-HHN, a Multi-Granular Attention based Heterogeneous Hypergraph Neural Network for heterogeneous graph representation learning. MGA-HHN introduces two key innovations: (1) a novel approach for constructing meta-path based heterogeneous hypergraphs that explicitly models higher-order semantic information in heterogeneous graphs through multiple views, and (2) a multi-granular attention mechanism that operates at both the node and hyperedge levels. This mechanism enables the model to capture fine-grained interactions among nodes sharing the same semantic context within a hyperedge type, while preserving the diversity of semantics across different hyperedge types. As such, MGA-HHN effectively mitigates long-range message distortion and generates more expressive node representations. Extensive experiments on real-world benchmark datasets demonstrate that MGA-HHN outperforms state-of-the-art models, showcasing its effectiveness in node classification, node clustering and visualization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google