Learning Graph Quantized Tokenizers for Transformers

要約

トランスフォーマーは、基礎モデルのバックボーン アーキテクチャとして機能し、ドメイン固有のトークナイザーがトランスフォーマーをさまざまなドメインに適応させるのに役立ちます。
グラフ トランスフォーマー (GT) は、幾何学的な深層学習の主要なモデルとして最近登場し、さまざまなグラフ学習タスクにおいてグラフ ニューラル ネットワーク (GNN) を上回っています。
ただし、グラフのトークナイザーの開発は他のモダリティに比べて遅れており、既存のアプローチはヒューリスティックまたは Transformer と共同トレーニングされた GNN に依存しています。
これに対処するために、GQT (\textbf{G}raph \textbf{Q}uantized \textbf{T}okenizer) を導入します。これは、マルチタスク グラフの自己教師あり学習を活用することで、トークナイザー トレーニングを Transformer トレーニングから切り離し、堅牢で一般化可能な学習を実現します。
グラフトークン。
さらに、GQT は残差ベクトル量子化 (RVQ) を利用して階層的な離散トークンを学習するため、メモリ要件が大幅に削減され、汎化機能が向上します。
GQT とトークン変調を組み合わせることで、Transformer エンコーダーは、大規模な同種親和性および異好性データセットを含む 18 ベンチマークのうち 16 種で最先端のパフォーマンスを達成します。
コードはhttps://github.com/limei0307/graph-tokenizerから入手できます。

要約(オリジナル)

Transformers serve as the backbone architectures of Foundational Models, where a domain-specific tokenizer helps them adapt to various domains. Graph Transformers (GTs) have recently emerged as a leading model in geometric deep learning, outperforming Graph Neural Networks (GNNs) in various graph learning tasks. However, the development of tokenizers for graphs has lagged behind other modalities, with existing approaches relying on heuristics or GNNs co-trained with Transformers. To address this, we introduce GQT (\textbf{G}raph \textbf{Q}uantized \textbf{T}okenizer), which decouples tokenizer training from Transformer training by leveraging multi-task graph self-supervised learning, yielding robust and generalizable graph tokens. Furthermore, the GQT utilizes Residual Vector Quantization (RVQ) to learn hierarchical discrete tokens, resulting in significantly reduced memory requirements and improved generalization capabilities. By combining the GQT with token modulation, a Transformer encoder achieves state-of-the-art performance on 16 out of 18 benchmarks, including large-scale homophilic and heterophilic datasets. The code is available at: https://github.com/limei0307/graph-tokenizer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google