Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers

要約

トークン化されたグラフ トランスフォーマーはノード分類タスクで優れたパフォーマンスを示していますが、トークン シーケンスの構築において高い類似性スコアを持つノードの限られたサブセットに依存しているため、他のノードからの貴重な情報が見落とされ、最適なノード表現を学習するためにグラフ情報を完全に活用する能力が妨げられます。
この制限に対処するために、GCFormer と呼ばれる新しいグラフ Transformer を提案します。
これまでのアプローチとは異なり、GCFormer はハイブリッド トークン ジェネレーターを開発し、正と負の 2 種類のトークン シーケンスを作成して、多様なグラフ情報を取得します。
そして、これらの生成されたトークン シーケンスから意味のあるノード表現を学習するために、調整された Transformer ベースのバックボーンが採用されています。
さらに、GCFormer は、正と負の両方のトークン シーケンスから貴重な情報を抽出する対照学習を導入し、学習されたノード表現の品質を向上させます。
同性愛グラフや異性愛グラフなど、さまざまなデータセットにわたる広範な実験結果は、代表的なグラフ ニューラル ネットワーク (GNN) やグラフ トランスフォーマーと比較した場合、ノード分類における GCFormer の優位性を実証しています。

要約(オリジナル)

While tokenized graph Transformers have demonstrated strong performance in node classification tasks, their reliance on a limited subset of nodes with high similarity scores for constructing token sequences overlooks valuable information from other nodes, hindering their ability to fully harness graph information for learning optimal node representations. To address this limitation, we propose a novel graph Transformer called GCFormer. Unlike previous approaches, GCFormer develops a hybrid token generator to create two types of token sequences, positive and negative, to capture diverse graph information. And a tailored Transformer-based backbone is adopted to learn meaningful node representations from these generated token sequences. Additionally, GCFormer introduces contrastive learning to extract valuable information from both positive and negative token sequences, enhancing the quality of learned node representations. Extensive experimental results across various datasets, including homophily and heterophily graphs, demonstrate the superiority of GCFormer in node classification, when compared to representative graph neural networks (GNNs) and graph Transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google