Asynchronous Algorithmic Alignment with Cocycles

要約

最先端のニューラル アルゴリズム推論器は、グラフ ニューラル ネットワーク (GNN) でのメッセージ パッシングを利用します。
しかし、一般的な GNN では、メッセージ関数の定義と呼び出しの区別があいまいで、ノードはすべての層で近隣ノードに同期的にメッセージを送信する必要があります。
ただし、動的プログラミング アルゴリズムの実行方法を学習するために GNN を適用する場合、ほとんどのステップで、送信する意味のある更新を持つノードはほんの一握りです。
したがって、多くの中間 GNN ステップで恒等関数を学習する必要があり、無関係なデータをグラフ全体に送信しすぎて非効率になるリスクがあります。
この作業では、ノード状態の更新とメッセージ関数の呼び出しの概念を明示的に分離します。
この分離により、アルゴリズムとニューラル ネットワークの両方における非同期計算について推論できる数学的定式化が得られます。

要約(オリジナル)

State-of-the-art neural algorithmic reasoners make use of message passing in graph neural networks (GNNs). But typical GNNs blur the distinction between the definition and invocation of the message function, forcing a node to send messages to its neighbours at every layer, synchronously. When applying GNNs to learn to execute dynamic programming algorithms, however, on most steps only a handful of the nodes would have meaningful updates to send. One, hence, runs the risk of inefficiencies by sending too much irrelevant data across the graph — with many intermediate GNN steps having to learn identity functions. In this work, we explicitly separate the concepts of node state update and message function invocation. With this separation, we obtain a mathematical formulation that allows us to reason about asynchronous computation in both algorithms and neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google