Heterophily-Aware Graph Attention Network

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ表現の学習において目覚ましい成功を収めています。
残念ながら、ノードの次数やペアワイズ表現に基づく計算など、標準的な GNN の現在の重み割り当てスキームは、接続されたノードが通常異なるラベルや特徴を持つヘテロフィリシーを持つネットワークの処理にはほとんど効果的ではありません。
既存の異好性 GNN は、各エッジの異性愛性のモデリングを無視する傾向がありますが、これは異性愛性の問題に取り組む上で重要な部分でもあります。
この論文では、まず異好性を意識した注意スキームを提案し、異好性エッジをモデル化する利点を明らかにします。つまり、GNN が異なる異好性タイプに従ってエッジに異なる重みを割り当てると、効果的なローカル アテンション パターンを学習できるため、ノードを有効にします。
異なる近隣者から適切な情報を取得します。
次に、異なる同性愛率を持つネットワークを処理するために、根底にある異性愛として局所分布を徹底的に探索および利用することにより、新しい異性愛性認識グラフ アテンション ネットワーク (HA-GAT) を提案します。
提案された HA-GAT の有効性を実証するために、提案された異性愛を意識した注意スキームと局所分布探索を、そのメカニズムからの解釈を求めることによって分析します。
広範な結果は、私たちの HA-GAT が、教師ありノード分類タスクと半教師ありノード分類タスクの両方で、異なる同型比率を持つ 8 つのデータセットで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have shown remarkable success in graph representation learning. Unfortunately, current weight assignment schemes in standard GNNs, such as the calculation based on node degrees or pair-wise representations, can hardly be effective in processing the networks with heterophily, in which the connected nodes usually possess different labels or features. Existing heterophilic GNNs tend to ignore the modeling of heterophily of each edge, which is also a vital part in tackling the heterophily problem. In this paper, we firstly propose a heterophily-aware attention scheme and reveal the benefits of modeling the edge heterophily, i.e., if a GNN assigns different weights to edges according to different heterophilic types, it can learn effective local attention patterns, which enable nodes to acquire appropriate information from distinct neighbors. Then, we propose a novel Heterophily-Aware Graph Attention Network (HA-GAT) by fully exploring and utilizing the local distribution as the underlying heterophily, to handle the networks with different homophily ratios. To demonstrate the effectiveness of the proposed HA-GAT, we analyze the proposed heterophily-aware attention scheme and local distribution exploration, by seeking for an interpretation from their mechanism. Extensive results demonstrate that our HA-GAT achieves state-of-the-art performances on eight datasets with different homophily ratios in both the supervised and semi-supervised node classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google