Graph Learning with Distributional Edge Layouts

要約

グラフ ニューラル ネットワーク (GNN) は、特定のトポロジ レイアウト上のエッジに沿って隣接するノード間でローカル メッセージを渡すことによって、グラフ構造のデータから学習します。
通常、現代の GNN におけるこれらのトポロジー レイアウトは、ヒューリスティックな仮定に基づいて決定論的に計算されるか (アテンションベースの GNN など)、ローカルにサンプリングされます (GraphSage など)。
この論文では、明示的な物理エネルギーを備えたボルツマン分布に従うランジュバン力学を介してこれらのレイアウトをグローバルにサンプリングでき、物理世界でのより高い実現可能性につながることを初めて提起します。
私たちは、このようなサンプリング/最適化されたレイアウトのコレクションにより、広範囲のエネルギー分布を捕捉し、WL テストに追加の表現力をもたらすことができるため、下流のタスクが容易になると主張します。
そのため、さまざまな GNN を補完する機能として、分散エッジ レイアウト (DEL) を提案します。
DEL は、後続の GNN バリアントから独立した前処理戦略であるため、非常に柔軟です。
実験結果は、DEL が一連の GNN ベースラインを一貫して大幅に改善し、複数のデータセットで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) learn from graph-structured data by passing local messages between neighboring nodes along edges on certain topological layouts. Typically, these topological layouts in modern GNNs are deterministically computed (e.g., attention-based GNNs) or locally sampled (e.g., GraphSage) under heuristic assumptions. In this paper, we for the first time pose that these layouts can be globally sampled via Langevin dynamics following Boltzmann distribution equipped with explicit physical energy, leading to higher feasibility in the physical world. We argue that such a collection of sampled/optimized layouts can capture the wide energy distribution and bring extra expressivity on top of WL-test, therefore easing downstream tasks. As such, we propose Distributional Edge Layouts (DELs) to serve as a complement to a variety of GNNs. DEL is a pre-processing strategy independent of subsequent GNN variants, thus being highly flexible. Experimental results demonstrate that DELs consistently and substantially improve a series of GNN baselines, achieving state-of-the-art performance on multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google