NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification

要約

最近、新たに登場したグラフ Transformers により、グラフ上のノード分類が大幅に進歩しました。
ほとんどのグラフ Transformer では、入力グラフをモデル入力としてトークン シーケンスに変換することが重要なステップであり、これにより Transformer がノード表現を効果的に学習できるようになります。
しかし、既存の手法では、単一タイプのトークン生成を通じてノードの部分的なグラフ情報しか表現できないことがわかります。
その結果、ノード表現学習の品質を確保するために、追加のグラフ固有の機能を Transformer にエンコードするための調整された戦略が必要となり、多様なグラフを処理するためのモデルの柔軟性が制限されます。
この目的を達成するために、この問題に対処するために NTFormer と呼ばれる新しいグラフ Transformer を提案します。
NTFormer は、ノードごとに異なるトークン要素を使用してさまざまなトークン シーケンスを構築する、Node2Par と呼ばれる新しいトークン ジェネレーターを導入します。
この柔軟性により、Node2Par はさまざまな観点から貴重なトークン シーケンスを生成し、豊富なグラフ機能を包括的に表現できるようになります。
Node2Par の利点を活かし、NTFormer はグラフ固有の変更を行わずに Transformer ベースのバックボーンのみを利用してノード表現を学習するため、グラフ固有の変更が不要になります。
異なるスケールの同性および異性グラフを含むさまざまなベンチマーク データセットに対して行われた広範な実験により、ノード分類において、代表的なグラフ Transformers およびグラフ ニューラル ネットワークに対する NTFormer の優位性が実証されました。

要約(オリジナル)

Recently, the emerging graph Transformers have made significant advancements for node classification on graphs. In most graph Transformers, a crucial step involves transforming the input graph into token sequences as the model input, enabling Transformer to effectively learn the node representations. However, we observe that existing methods only express partial graph information of nodes through single-type token generation. Consequently, they require tailored strategies to encode additional graph-specific features into the Transformer to ensure the quality of node representation learning, limiting the model flexibility to handle diverse graphs. To this end, we propose a new graph Transformer called NTFormer to address this issue. NTFormer introduces a novel token generator called Node2Par, which constructs various token sequences using different token elements for each node. This flexibility allows Node2Par to generate valuable token sequences from different perspectives, ensuring comprehensive expression of rich graph features. Benefiting from the merits of Node2Par, NTFormer only leverages a Transformer-based backbone without graph-specific modifications to learn node representations, eliminating the need for graph-specific modifications. Extensive experiments conducted on various benchmark datasets containing homophily and heterophily graphs with different scales demonstrate the superiority of NTFormer over representative graph Transformers and graph neural networks for node classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google