Understanding Virtual Nodes: Oversquashing and Node Heterogeneity

要約

メッセージパッシングニューラルネットワーク（MPNN）は、さまざまなアプリケーションで説得力のある成功を収めていますが、過剰射撃問題や長距離相互作用をキャプチャできないなどの制限を示しています。
仮想ノード（VN）でMPNNを増強すると、レイヤー集約の局所的な制約が削除され、さまざまなベンチマークのパフォーマンスが向上することがわかりました。
過度のスキャッシュおよび感度分析のレンズを通じて、VNSとその利点の役割とその利点の包括的な理論分析を提供します。
まず、正確には、ネットワークの混合能力に関するVNSが提供する改善、したがって、上場の過剰射撃の緩和において、基礎となるトポロジーにどのように依存するかを特徴づけます。
次に、グラフ変換者（GTS）とは異なり、VNの古典的なインスタンス化は、異なるノードに均一な重要性を割り当てるように制約されることがよくあります。
その結果、同じ計算の複雑さを持つVNのバリアントを提案します。これは、グラフ構造に基づいてノードに対して異なる感度を持つ可能性があります。
これは、グラフレベルのタスクに非常に効果的で計算効率の良いベースラインであることを示します。

要約(オリジナル)

While message passing neural networks (MPNNs) have convincing success in a range of applications, they exhibit limitations such as the oversquashing problem and their inability to capture long-range interactions. Augmenting MPNNs with a virtual node (VN) removes the locality constraint of the layer aggregation and has been found to improve performance on a range of benchmarks. We provide a comprehensive theoretical analysis of the role of VNs and benefits thereof, through the lenses of oversquashing and sensitivity analysis. First, we characterize, precisely, how the improvement afforded by VNs on the mixing abilities of the network and hence in mitigating oversquashing, depends on the underlying topology. We then highlight that, unlike Graph-Transformers (GTs), classical instantiations of the VN are often constrained to assign uniform importance to different nodes. Consequently, we propose a variant of VN with the same computational complexity, which can have different sensitivity to nodes based on the graph structure. We show that this is an extremely effective and computationally efficient baseline for graph-level tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google