Are Targeted Messages More Effective?

要約

グラフ ニューラル ネットワーク (GNN) は、グラフの深層学習アーキテクチャです。
基本的に、GNN は分散メッセージ パッシング アルゴリズムであり、データから学習したパラメーターによって制御されます。
これはグラフの頂点に対して動作します。各反復で、頂点は各受信エッジでメッセージを受信し、これらのメッセージを集約し、現在の状態と集約されたメッセージに基づいて状態を更新します。
GNN の表現力は、カウントを使用した 1 次ロジックの特定のフラグメントと Weisfeiler-Lehman アルゴリズムの観点から特徴付けることができます。
コア GNN アーキテクチャには 2 つの異なるバージョンがあります。
最初のバージョンでは、メッセージはソース頂点の状態のみに依存しますが、2 番目のバージョンでは、メッセージはソース頂点とターゲット頂点の状態に依存します。
実際には、これらのバージョンの両方が使用されますが、これまでの GNN の理論は主に最初のバージョンに焦点を当てていました。
論理的な側面では、2 つのバージョンは、モーダルおよびガードと呼ばれるカウントを伴う 1 次ロジックの 2 つのフラグメントに対応します。
2 つのバージョンの表現力が異なるかどうかという問題は、GNN 文献ではほとんど無視されており、最近になってようやく質問されました (Grohe、LICS’23)。
ここではこの質問に答えます。
その答えは、予想されるほど単純ではないことがわかりました。
カウントを伴う 1 次ロジックのモーダル フラグメントとガード フラグメントが、ラベル付き無向グラフに対して同じ表現力を持つことを証明することで、不均一な設定では 2 つの GNN バージョンが同じ表現力を持つことを示します。
ただし、統一された設定では、2 番目のバージョンの方が厳密にはより表現力豊かであることも証明します。

要約(オリジナル)

Graph neural networks (GNN) are deep learning architectures for graphs. Essentially, a GNN is a distributed message passing algorithm, which is controlled by parameters learned from data. It operates on the vertices of a graph: in each iteration, vertices receive a message on each incoming edge, aggregate these messages, and then update their state based on their current state and the aggregated messages. The expressivity of GNNs can be characterised in terms of certain fragments of first-order logic with counting and the Weisfeiler-Lehman algorithm. The core GNN architecture comes in two different versions. In the first version, a message only depends on the state of the source vertex, whereas in the second version it depends on the states of the source and target vertices. In practice, both of these versions are used, but the theory of GNNs so far mostly focused on the first one. On the logical side, the two versions correspond to two fragments of first-order logic with counting that we call modal and guarded. The question whether the two versions differ in their expressivity has been mostly overlooked in the GNN literature and has only been asked recently (Grohe, LICS’23). We answer this question here. It turns out that the answer is not as straightforward as one might expect. By proving that the modal and guarded fragment of first-order logic with counting have the same expressivity over labelled undirected graphs, we show that in a non-uniform setting the two GNN versions have the same expressivity. However, we also prove that in a uniform setting the second version is strictly more expressive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google