Bridging Graph Position Encodings for Transformers with Weighted Graph-Walking Automata

要約

【タイトル】重み付けグラフウォーキングオートマトンを用いたトランスフォーマーのグラフ位置符号化の橋渡し

【要約】

-グラフニューラルネットワークの研究文献では、言語やビジョンのタスクで成功を収めているトランスフォーマーが、グラフ構造化されたデータを操作できるようにすることが目標の一つである

-トランスフォーマーの元々の正弦波の位置符号化は、グラフに適用できないため、最近の研究では、スペクトルグラフ理論に基づくまたはグラフの様々な空間的特徴に根ざしたグラフ位置符号化の開発に注力されている

-本研究では、重み付きグラフウォーキングオートマトンに基づく新しいグラフ位置符号化、Graph Automaton PE（GAPE）を導入する。GAPEの性能を他の位置符号化手法と比較し、機械翻訳やグラフ構造タスクで一般化できることを示す。また、エッジの特徴の使用に関係なく、多数の最近のグラフトランスフォーマーの位置符号化の理論的および制御された実験的比較も行う。

-重み付きグラフウォーキングオートマトンを使用した新しいグラフ位置符号化方法は、既存の方法よりも優れていることが示され、機械翻訳やグラフ構造タスクにおいてさらに高い性能を発揮する可能性がある。

要約(オリジナル)

A current goal in the graph neural network literature is to enable transformers to operate on graph-structured data, given their success on language and vision tasks. Since the transformer’s original sinusoidal positional encodings (PEs) are not applicable to graphs, recent work has focused on developing graph PEs, rooted in spectral graph theory or various spatial features of a graph. In this work, we introduce a new graph PE, Graph Automaton PE (GAPE), based on weighted graph-walking automata (a novel extension of graph-walking automata). We compare the performance of GAPE with other PE schemes on both machine translation and graph-structured tasks, and we show that it generalizes several other PEs. An additional contribution of this study is a theoretical and controlled experimental comparison of many recent PEs in graph transformers, independent of the use of edge features.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI