Flood and Echo: Algorithmic Alignment of GNNs with Distributed Computing

要約

グラフ ニューラル ネットワークは、アルゴリズムの学習に最適です。
抽象的だが汎用性の高いグラフ構造を通じてタスクを直接表現し、さまざまなサイズの入力を処理できます。
これにより、アルゴリズムの最も重要な利点の 1 つである、より大きなグラフへのスケーリングと外挿の可能性が開かれます。
しかし、これは 2 つの主要な疑問を引き起こします。i) たとえ遠く離れていても、ノードが特定のグラフ ($\textit{情報交換}$) で必要な情報を収集できるようにするにはどうすればよいか、ii) 実行フレームワークをどのように設計できるかです。
より大きなグラフ サイズへの外挿のためのこの情報交換を有効にします ($\textit{外挿のためのアルゴリズム アライメント}$)。
私たちは、分散アルゴリズムの設計原則、Flood と Echo Net からインスピレーションを得た新しい実行フレームワークを提案します。
グラフ全体にメッセージを波のようなアクティベーション パターンで伝播します。これは、より大きなインスタンスに自然に一般化されます。
まばらだが並列したアクティベーションにより、メッセージの複雑さの点でより効率的であることが証明されています。
私たちは提案されたモデルを研究し、その表現力、効率性、情報交換、外挿能力の観点から、経験的証拠と理論的洞察の両方を提供します。

要約(オリジナル)

Graph Neural Networks are a natural fit for learning algorithms. They can directly represent tasks through an abstract but versatile graph structure and handle inputs of different sizes. This opens up the possibility for scaling and extrapolation to larger graphs, one of the most important advantages of an algorithm. However, this raises two core questions i) How can we enable nodes to gather the required information in a given graph ($\textit{information exchange}$), even if is far away and ii) How can we design an execution framework which enables this information exchange for extrapolation to larger graph sizes ($\textit{algorithmic alignment for extrapolation}$). We propose a new execution framework that is inspired by the design principles of distributed algorithms: Flood and Echo Net. It propagates messages through the entire graph in a wave like activation pattern, which naturally generalizes to larger instances. Through its sparse but parallel activations it is provably more efficient in terms of message complexity. We study the proposed model and provide both empirical evidence and theoretical insights in terms of its expressiveness, efficiency, information exchange and ability to extrapolate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google