On the Utilization of Unique Node Identifiers in Graph Neural Networks

要約

グラフ ニューラル ネットワークには、メッセージ受け渡し構造のため、固有の表現上の制限があります。
最近の研究では、一意のノード識別子 (UID) を使用することでこれらの制限を克服できることが示唆されています。
ここで、UID には利点があるにもかかわらず、その欠点の 1 つは、順列等分散という望ましい特性が失われることであると主張します。
したがって、我々は、順列等変である UID モデルに焦点を当て、その利点についての理論的議論を提示することを提案します。
これを動機として、対比損失を介して、UID モデルを順列等分散に向けて正則化する方法を提案します。
私たちは、このアプローチが一般化と外挿の能力を向上させながら、より高速なトレーニングの収束を提供することを経験的に示しています。
最近の BREC 表現力ベンチマークでは、私たちの提案手法は他のランダムベースのアプローチと比較して最先端のパフォーマンスを達成しています。

要約(オリジナル)

Graph Neural Networks have inherent representational limitations due to their message-passing structure. Recent work has suggested that these limitations can be overcome by using unique node identifiers (UIDs). Here we argue that despite the advantages of UIDs, one of their disadvantages is that they lose the desirable property of permutation-equivariance. We thus propose to focus on UID models that are permutation-equivariant, and present theoretical arguments for their advantages. Motivated by this, we propose a method to regularize UID models towards permutation equivariance, via a contrastive loss. We empirically demonstrate that our approach improves generalization and extrapolation abilities while providing faster training convergence. On the recent BREC expressiveness benchmark, our proposed method achieves state-of-the-art performance compared to other random-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google