What Are Good Positional Encodings for Directed Graphs?

要約

グラフの位置エンコーディング (PE) は、ノード間の相対的な空間関係を効果的にキャプチャするため、強力で表現力豊かなグラフ ニューラル ネットワークとグラフ トランスフォーマーを構築するのに不可欠です。
無向グラフの PE は広く研究されていますが、有向グラフの PE は、プログラム解析や回路設計など、強い論理依存関係を持つエンティティを表現するという有向グラフの基本的な役割にもかかわらず、ほとんど研究されていません。
この研究では、望ましい有向空間関係を表現するための有向グラフの PE の設計を研究します。
我々はまず、歩行カウントシーケンスを有向グラフに一般化した歩行プロファイルを提案します。
我々は、対称化ラプラシアン PE、特異値分解 PE、磁気ラプラシアン PE などの既存の PE 手法におけるウォーク プロファイルの表現能力の限界を特定します。
これらの制限に対処するために、複数の潜在的な要素を使用して磁気ラプラシアン PE を拡張する、Multi-q 磁気ラプラシアン PE を提案します。
この単純な変形は、歩行プロファイルを証明可能に表現できることが判明した。
さらに、磁気ラプラシアンから分解された複素領域 PE を処理するために、以前の基底不変で安定したネットワークを一般化します。
私たちの数値実験は、安定したニューラル アーキテクチャを備えた Multi-q 磁気ラプラシアン PE の有効性を実証し、有向距離/歩行プロファイルの予測、ネットワークの充足性のソート、および一般的な回路ベンチマークにおいて、以前の PE 手法 (安定したネットワークを備えた) を上回っています。
私たちのコードは https://github.com/Graph-COM/Multi-q-Maglap で入手できます。

要約(オリジナル)

Positional encodings (PE) for graphs are essential in constructing powerful and expressive graph neural networks and graph transformers as they effectively capture relative spatial relations between nodes. While PEs for undirected graphs have been extensively studied, those for directed graphs remain largely unexplored, despite the fundamental role of directed graphs in representing entities with strong logical dependencies, such as those in program analysis and circuit designs. This work studies the design of PEs for directed graphs that are expressive to represent desired directed spatial relations. We first propose walk profile, a generalization of walk counting sequence to directed graphs. We identify limitations in existing PE methods, including symmetrized Laplacian PE, Singular Value Decomposition PE, and Magnetic Laplacian PE, in their ability to express walk profiles. To address these limitations, we propose the Multi-q Magnetic Laplacian PE, which extends Magnetic Laplacian PE with multiple potential factors. This simple variant turns out to be capable of provably expressing walk profiles. Furthermore, we generalize previous basis-invariant and stable networks to handle complex-domain PEs decomposed from Magnetic Laplacians. Our numerical experiments demonstrate the effectiveness of Multi-q Magnetic Laplacian PE with a stable neural architecture, outperforming previous PE methods (with stable networks) on predicting directed distances/walk profiles, sorting network satisfiability, and on general circuit benchmarks. Our code is available at https://github.com/Graph-COM/Multi-q-Maglap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google