DRew: Dynamically Rewired Message Passing with Delay

要約

メッセージ パッシング ニューラル ネットワーク (MPNN) は、長距離インタラクションに依存するタスクのパフォーマンス低下を引き起こす過剰スカッシュ現象に悩まされることがわかっています。
これは主に、ノードの直接の隣接ノードを介してローカルでのみ行われるメッセージ パッシングに起因すると考えられます。
グラフを「より接続」し、おそらく長距離タスクに適したものにしようとする再配線アプローチは、離れたノードがすべての層で瞬時に通信するため、グラフ上の距離によってもたらされる誘導バイアスを失うことがよくあります。
この論文では、グラフの段階的な高密度化を保証するために層に依存した再配線を実行する、あらゆる MPNN アーキテクチャに適用可能なフレームワークを提案します。
また、層と相互距離に応じてノード間のスキップ接続を可能にする遅延メカニズムを提案します。
いくつかの長距離タスクでアプローチを検証し、それがグラフ トランスフォーマーやマルチホップ MPNN よりも優れていることを示します。

要約(オリジナル)

Message passing neural networks (MPNNs) have been shown to suffer from the phenomenon of over-squashing that causes poor performance for tasks relying on long-range interactions. This can be largely attributed to message passing only occurring locally, over a node’s immediate neighbours. Rewiring approaches attempting to make graphs ‘more connected’, and supposedly better suited to long-range tasks, often lose the inductive bias provided by distance on the graph since they make distant nodes communicate instantly at every layer. In this paper we propose a framework, applicable to any MPNN architecture, that performs a layer-dependent rewiring to ensure gradual densification of the graph. We also propose a delay mechanism that permits skip connections between nodes depending on the layer and their mutual distance. We validate our approach on several long-range tasks and show that it outperforms graph Transformers and multi-hop MPNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google