On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology

要約

タイトル：メッセージパッシングニューラルネットワークにおけるオーバースクワッシング：幅、深さ、トポロジーの影響
要約：
– メッセージパッシングニューラルネットワーク（MPNN）は、グラフを利用してエッジ上でメッセージを送信するグラフニューラルネットワークの例である。
– この帰納バイアスは、遠隔ノードに含まれる情報に対して感度が低くなるという現象であるオーバースクワッシングを引き起こす。
– 最近導入された方法でこれを緩和することができるが、オーバースクワッシングの原因や解決策についての理解が不足している。
– この理論的研究では、以下を証明している。
* (i) ニューラルネットワークの幅はオーバースクワッシングを緩和できるが、ネットワーク全体をより感度が高くする代償がある。
* (ii) 逆に、深さではオーバースクワッシングを緩和することはできない。レイヤーの数を増やすことで、オーバースクワッシングが消失勾配によって支配されるようになる。
* (iii) グラフのトポロジーが最も重要であり、オーバースクワッシングは高い通勤（アクセス）時間のノード間で発生する。
– この分析は、最近導入された異なる方法を研究するための統一されたフレームワークを提供し、`グラフ再配線’というクラスに属するいくつかの方法の正当化となる。

要約(オリジナル)

Message Passing Neural Networks (MPNNs) are instances of Graph Neural Networks that leverage the graph to send messages over the edges. This inductive bias leads to a phenomenon known as over-squashing, where a node feature is insensitive to information contained at distant nodes. Despite recent methods introduced to mitigate this issue, an understanding of the causes for over-squashing and of possible solutions are lacking. In this theoretical work, we prove that: (i) Neural network width can mitigate over-squashing, but at the cost of making the whole network more sensitive; (ii) Conversely, depth cannot help mitigate over-squashing: increasing the number of layers leads to over-squashing being dominated by vanishing gradients; (iii) The graph topology plays the greatest role, since over-squashing occurs between nodes at high commute (access) time. Our analysis provides a unified framework to study different recent methods introduced to cope with over-squashing and serves as a justification for a class of methods that fall under `graph rewiring’.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI