Comparing Graph Transformers via Positional Encodings

要約

グラフ トランスフォーマーの識別力は、位置エンコーディングの選択と密接に関係しています。これは、グラフに関する情報でベース トランスフォーマーを強化するために使用される機能です。
位置エンコーディングには、絶対位置エンコーディング (APE) と相対位置エンコーディング (RPE) の 2 つの主なタイプがあります。
APE は各ノードに機能を割り当て、トランスフォーマーへの入力として与えられます。
代わりに、RPE はグラフの距離などのノードの各ペアに特徴を割り当て、アテンション ブロックを強化するために使用されます。
演繹的に、結果として得られるグラフ変換器の電力を最大化するためにどの方法がより優れているかは不明である。
このペーパーでは、これらの異なるタイプの位置エンコーディング間の関係を理解することを目的としています。
興味深いことに、APE と RPE を使用したグラフ変換器は識別力の点で同等であることが示されています。
特に、グラフ トランスフォーマーの観点から、APE と RPE の区別力を維持しながら、APE と RPE を交換する方法を示します。
理論的結果に基づいて、いくつかの APE および RPE (抵抗距離および最近導入された安定した表現力豊かな位置エンコーディング (SPE) を含む) に関する研究を提供し、変圧器の観点からそれらの識別力を比較します。
私たちは、私たちの研究が位置エンコーディングの膨大な数の選択肢をナビゲートするのに役立ち、グラフ トランスフォーマーの位置エンコーディングの将来の設計に関する指針を提供すると信じています。

要約(オリジナル)

The distinguishing power of graph transformers is closely tied to the choice of positional encoding: features used to augment the base transformer with information about the graph. There are two primary types of positional encoding: absolute positional encodings (APEs) and relative positional encodings (RPEs). APEs assign features to each node and are given as input to the transformer. RPEs instead assign a feature to each pair of nodes, e.g., graph distance, and are used to augment the attention block. A priori, it is unclear which method is better for maximizing the power of the resulting graph transformer. In this paper, we aim to understand the relationship between these different types of positional encodings. Interestingly, we show that graph transformers using APEs and RPEs are equivalent in terms of distinguishing power. In particular, we demonstrate how to interchange APEs and RPEs while maintaining their distinguishing power in terms of graph transformers. Based on our theoretical results, we provide a study on several APEs and RPEs (including the resistance distance and the recently introduced stable and expressive positional encoding (SPE)) and compare their distinguishing power in terms of transformers. We believe our work will help navigate the huge number of choices of positional encoding and will provide guidance on the future design of positional encodings for graph transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google