Node-wise Filtering in Graph Neural Networks: A Mixture of Experts Approach

要約

グラフ ニューラル ネットワーク (GNN) は、多様なグラフ構造パターンにわたるノード分類タスクに非常に効果的であることが証明されています。
従来、GNN は均一なグローバル フィルター、通常は同親性グラフにはローパス フィルター、異好性グラフにはハイパス フィルターを使用します。
ただし、現実世界のグラフでは、同種親和性と異種親和性のパターンが複雑に混在していることが多く、単一のグローバル フィルター アプローチでは最適とは言えません。
この研究では、1 つのパターンに対して最適化されたグローバル フィルターが、異なるパターンを持つノードのパフォーマンスに悪影響を与える可能性があることを理論的に実証します。
これに対処するために、専門家の混合を利用してさまざまなノードに適切なフィルターを適応的に選択する新しい GNN フレームワーク Node-MoE を導入します。
広範な実験により、同親性グラフと異好性グラフの両方に対する Node-MoE の有効性が実証されています。

要約(オリジナル)

Graph Neural Networks (GNNs) have proven to be highly effective for node classification tasks across diverse graph structural patterns. Traditionally, GNNs employ a uniform global filter, typically a low-pass filter for homophilic graphs and a high-pass filter for heterophilic graphs. However, real-world graphs often exhibit a complex mix of homophilic and heterophilic patterns, rendering a single global filter approach suboptimal. In this work, we theoretically demonstrate that a global filter optimized for one pattern can adversely affect performance on nodes with differing patterns. To address this, we introduce a novel GNN framework Node-MoE that utilizes a mixture of experts to adaptively select the appropriate filters for different nodes. Extensive experiments demonstrate the effectiveness of Node-MoE on both homophilic and heterophilic graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google