PathMLP: Smooth Path Towards High-order Homophily

要約

現実世界のグラフでは異種性が高まっており、ノードが同じラベルを持つノードに接続される傾向がなくなり、古典的なグラフ ニューラル ネットワーク (GNN) の同種性の仮定に疑問が生じ、そのパフォーマンスが妨げられています。
興味深いことに、異好性データ上の特定の高次情報が高い同質性を示すことが観察され、これがノード表現学習に高次情報を関与させる動機となります。
ただし、GNN での一般的な手法では、主にモデルの深さを増やし、メッセージ受け渡しメカニズムを変更することで高次の情報を取得します。これは、ある程度効果的ではありますが、次の 3 つの欠点があります。1) 過剰なモデルの深さと伝播による過度の平滑化
回。
２）高次情報が十分に活用されていない。
3) 計算効率が低い。
これに関して、高次の相同性を含む滑らかなパスを捕捉するために、類似性に基づくパス サンプリング戦略を設計します。
次に、PathMLP という名前の多層パーセプトロン (MLP) に基づく軽量モデルを提案します。このモデルは、単純な変換と連結操作を通じてパスによって運ばれるメッセージをエンコードし、適応パス集約を通じて異種親和性グラフ内のノード表現を効果的に学習できます。
広範な実験により、私たちの方法が20データセット中16データセットでベースラインを上回っていることが実証され、異好性問題の軽減におけるその有効性と優位性が強調されています。
さらに、私たちの方法は過度の平滑化の影響を受けず、高い計算効率を備えています。

要約(オリジナル)

Real-world graphs exhibit increasing heterophily, where nodes no longer tend to be connected to nodes with the same label, challenging the homophily assumption of classical graph neural networks (GNNs) and impeding their performance. Intriguingly, we observe that certain high-order information on heterophilous data exhibits high homophily, which motivates us to involve high-order information in node representation learning. However, common practices in GNNs to acquire high-order information mainly through increasing model depth and altering message-passing mechanisms, which, albeit effective to a certain extent, suffer from three shortcomings: 1) over-smoothing due to excessive model depth and propagation times; 2) high-order information is not fully utilized; 3) low computational efficiency. In this regard, we design a similarity-based path sampling strategy to capture smooth paths containing high-order homophily. Then we propose a lightweight model based on multi-layer perceptrons (MLP), named PathMLP, which can encode messages carried by paths via simple transformation and concatenation operations, and effectively learn node representations in heterophilous graphs through adaptive path aggregation. Extensive experiments demonstrate that our method outperforms baselines on 16 out of 20 datasets, underlining its effectiveness and superiority in alleviating the heterophily problem. In addition, our method is immune to over-smoothing and has high computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google