Asynchronous Algorithmic Alignment with Cocycles

要約

最先端のニューラル アルゴリズム推論器は、グラフ ニューラル ネットワーク (GNN) でのメッセージ パッシングを利用します。
しかし、一般的な GNN では、メッセージ関数の定義と呼び出しの区別があいまいで、ノードはすべての層で近隣ノードに同期的にメッセージを送信する必要があります。
ただし、動的プログラミング アルゴリズムの実行方法を学習するために GNN を適用する場合、ほとんどのステップで、送信する意味のある更新を持つノードはほんの一握りです。
したがって、グラフ全体に無関係なデータを送信しすぎて非効率になるリスクがあります。
しかし、より重要なことは、多くの中間 GNN ステップでは恒等関数を学習する必要があり、これは自明ではない学習問題です。
この作業では、ノード状態の更新とメッセージ関数の呼び出しの概念を明示的に分離します。
この分離により、アルゴリズムとニューラル ネットワークの両方における非同期計算について推論できる数学的定式化が得られます。
私たちの分析により、さまざまな形式の非同期下で不変であることが証明されている、同期スケーラブルな GNN レイヤーの実用的な実装がいくつか得られました。

要約(オリジナル)

State-of-the-art neural algorithmic reasoners make use of message passing in graph neural networks (GNNs). But typical GNNs blur the distinction between the definition and invocation of the message function, forcing a node to send messages to its neighbours at every layer, synchronously. When applying GNNs to learn to execute dynamic programming algorithms, however, on most steps only a handful of the nodes would have meaningful updates to send. One, hence, runs the risk of inefficiencies by sending too much irrelevant data across the graph. But more importantly, many intermediate GNN steps have to learn the identity functions, which is a non-trivial learning problem. In this work, we explicitly separate the concepts of node state update and message function invocation. With this separation, we obtain a mathematical formulation that allows us to reason about asynchronous computation in both algorithms and neural networks. Our analysis yields several practical implementations of synchronous scalable GNN layers that are provably invariant under various forms of asynchrony.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google