Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting

要約

近年、グラフ ニューラル ネットワーク (GNN) を使用したグラフ関連のタスクの処理が大きな成功を収めています。
ただし、既存の GNN のほとんどは、メッセージ パッシングに基づいて特徴の集約と変換を実行します。この場合、構造情報は、各層でのグラフ畳み込みを通じてノード特徴と結合することにより、順伝播に明示的に関与します。
その結果、微妙な機能ノイズや構造の乱れが重大なエラー伝播を引き起こし、ロバスト性が極度に低下する可能性があります。
この論文では、グラフ データのトレーニングにおいてグラフ構造情報が果たす役割を再考し、メッセージ パッシングが構造情報をモデル化する唯一の方法ではないことを特定します。
これに触発されて、メッセージパッシングなしでグラフ構造情報を学習する、シンプルだが効果的なグラフ構造自己コントラスト (GSSC) フレームワークを提案します。
提案されたフレームワークは純粋に多層パーセプトロン (MLP) に基づいており、構造情報は、GNN のような明示的なメッセージ伝播の代わりに、監視信号の計算をガイドする事前知識として暗黙的にのみ組み込まれます。
具体的には、最初に構造的スパース化を適用して近傍内の潜在的に情報が少ないエッジやノイズの多いエッジを削除し、次にスパース化された近傍で構造的自己対比を実行してロバストなノード表現を学習します。
最後に、構造の疎化と自己対比が 2 レベルの最適化問題として定式化され、統一されたフレームワークで解決されます。
広範な実験により、GSSC フレームワークが他の主要な競合他社よりも優れた一般化と堅牢性を備えた真に有望なパフォーマンスを生み出すことができることが定性的および定量的に実証されました。

要約(オリジナル)

Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). However, most existing GNNs are based on message passing to perform feature aggregation and transformation, where the structural information is explicitly involved in the forward propagation by coupling with node features through graph convolution at each layer. As a result, subtle feature noise or structure perturbation may cause severe error propagation, resulting in extremely poor robustness. In this paper, we rethink the roles played by graph structural information in graph data training and identify that message passing is not the only path to modeling structural information. Inspired by this, we propose a simple but effective Graph Structure Self-Contrasting (GSSC) framework that learns graph structural information without message passing. The proposed framework is based purely on Multi-Layer Perceptrons (MLPs), where the structural information is only implicitly incorporated as prior knowledge to guide the computation of supervision signals, substituting the explicit message propagation as in GNNs. Specifically, it first applies structural sparsification to remove potentially uninformative or noisy edges in the neighborhood, and then performs structural self-contrasting in the sparsified neighborhood to learn robust node representations. Finally, structural sparsification and self-contrasting are formulated as a bi-level optimization problem and solved in a unified framework. Extensive experiments have qualitatively and quantitatively demonstrated that the GSSC framework can produce truly encouraging performance with better generalization and robustness than other leading competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google