Improving Signed Propagation for Graph Neural Networks in Multi-Class Environments

要約

隣接するノードから情報を収集するメッセージパッシング グラフ ニューラル ネットワーク (GNN) は、異好性グラフでは悲惨なパフォーマンスを達成します。
この問題を解決するためにさまざまなスキームが提案されており、異好性エッジ上の署名情報を伝播することが大きな注目を集めています。
最近、バイナリ クラスのシナリオでは、符号付き伝播が常にパフォーマンスの向上につながるという理論的分析を提供する研究がいくつかありました。
ただし、以前の分析はマルチクラスのベンチマーク データセットとうまく一致していないことに気付きました。
このペーパーでは、マルチクラス シナリオの署名付き伝播について新たな理解を提供し、メッセージ パッシングとパラメータ更新に関する 2 つの欠点を指摘します。 (1) メッセージ パッシング: 2 つのノードが異なるクラスに属しているが、類似性が高い場合、署名済みの伝播が発生します。
伝播により分離性が低下する可能性があります。
(2) パラメータの更新: 署名された近傍の予測の不確実性 (競合証拠など) がトレーニング中に増加し、アルゴリズムの安定性が妨げられる可能性があります。
この観察に基づいて、マルチクラス グラフの下で符号付き伝播を改善するための 2 つの新しい戦略を紹介します。
提案されたスキームは、不確実性を低減しながら堅牢性を確保するためにキャリブレーションを組み合わせています。
6 つのベンチマーク グラフ データセットに対する広範な実験を通じて、定理の有効性を示します。

要約(オリジナル)

Message-passing Graph Neural Networks (GNNs), which collect information from adjacent nodes achieve dismal performance on heterophilic graphs. Various schemes have been proposed to solve this problem, and propagating signed information on heterophilic edges has gained great attention. Recently, some works provided theoretical analysis that signed propagation always leads to performance improvement under a binary class scenario. However, we notice that prior analyses do not align well with multi-class benchmark datasets. This paper provides a new understanding of signed propagation for multi-class scenarios and points out two drawbacks in terms of message-passing and parameter update: (1) Message-passing: if two nodes belong to different classes but have a high similarity, signed propagation can decrease the separability. (2) Parameter update: the prediction uncertainty (e.g., conflict evidence) of signed neighbors increases during training, which can impede the stability of the algorithm. Based on the observation, we introduce two novel strategies for improving signed propagation under multi-class graphs. The proposed scheme combines calibration to secure robustness while reducing uncertainty. We show the efficacy of our theorem through extensive experiments on six benchmark graph datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google