LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings

要約

ゼロショット グラフ機械学習、特にグラフ ニューラル ネットワーク (GNN) を使用したものは、ラベル付きデータが希少であるという課題により、大きな関心を集めています。
自己教師あり学習やグラフ プロンプト学習などの方法が広く研究されていますが、多くの場合、タスク固有のラベルによる微調整に依存しており、ゼロショット シナリオでは効果が制限されます。
命令微調整された大規模言語モデル (LLM) のゼロショット機能に触発され、LLM をクロスデータセットおよびクロスタスク ゼロとして活用するトークン埋め込み整合グラフ言語モデル (TEA-GLM) という新しいフレームワークを導入します。
-グラフ機械学習用のショット学習器。
具体的には、GNN を事前トレーニングし、その表現を LLM のトークン埋め込みと調整します。
次に、LLM を調整せずに、GNN の表現を固定数のグラフ トークン埋め込みに変換する線形プロジェクターをトレーニングします。
統一された命令は、ノード分類 (ノード レベル) やリンク予測 (エッジ レベル) など、さまざまなレベルのさまざまなグラフ タスク向けに設計されています。
これらの設計上の選択により、ゼロショット学習における私たちの手法の有効性が全体的に向上し、既存の手法とは一線を画します。
実験では、LLM を予測子として使用する他の方法と比較して、グラフ トークンの埋め込みが、LLM 予測子が目に見えないデータセットやタスクで最先端のパフォーマンスを達成するのに役立つことが示されています。

要約(オリジナル)

Zero-shot graph machine learning, especially with graph neural networks (GNNs), has garnered significant interest due to the challenge of scarce labeled data. While methods like self-supervised learning and graph prompt learning have been extensively explored, they often rely on fine-tuning with task-specific labels, limiting their effectiveness in zero-shot scenarios. Inspired by the zero-shot capabilities of instruction-fine-tuned large language models (LLMs), we introduce a novel framework named Token Embedding-Aligned Graph Language Model (TEA-GLM) that leverages LLMs as cross-dataset and cross-task zero-shot learners for graph machine learning. Concretely, we pretrain a GNN, aligning its representations with token embeddings of an LLM. We then train a linear projector that transforms the GNN’s representations into a fixed number of graph token embeddings without tuning the LLM. A unified instruction is designed for various graph tasks at different levels, such as node classification (node-level) and link prediction (edge-level). These design choices collectively enhance our method’s effectiveness in zero-shot learning, setting it apart from existing methods. Experiments show that our graph token embeddings help the LLM predictor achieve state-of-the-art performance on unseen datasets and tasks compared to other methods using LLMs as predictors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google