GraphGPT: Graph Instruction Tuning for Large Language Models

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ ノード間の再帰的な情報交換と集約を通じて高度なグラフ構造を理解します。
モデルの堅牢性を向上させるために、自己教師あり学習 (SSL) がデータ拡張の有望なアプローチとして浮上しています。
ただし、事前トレーニングされたグラフ埋め込みを生成する既存の方法は、多くの場合、特定の下流タスク ラベルを使用した微調整に依存するため、ラベル付きデータが不足しているか利用できないシナリオでは使いやすさが制限されます。
これに対処するために、私たちの研究は、困難なゼロショット学習シナリオにおけるグラフ モデルの汎化機能の向上に焦点を当てています。
大規模言語モデル (LLM) の成功に触発されて、私たちは、下流のグラフ データから入手可能な情報がなくても、多様な下流のデータセットとタスクにわたって高度な一般化を達成できるグラフ指向 LLM の開発を目指しています。
この研究では、LLM をグラフ構造の知識とグラフ命令調整パラダイムで調整する GraphGPT フレームワークを紹介します。
私たちのフレームワークには、テキスト情報とグラフ構造の間の接続を確立するために、テキストとグラフの基礎コンポーネントが組み込まれています。
さらに、軽量のグラフとテキストの位置合わせプロジェクターを伴う、デュアルステージの命令調整パラダイムを提案します。
このパラダイムは、自己教師ありグラフ構造信号とタスク固有のグラフ命令を探索し、LLM が複雑なグラフ構造を理解し、さまざまな下流タスク間での適応性を向上できるように導きます。
私たちのフレームワークは教師ありゼロショットグラフ学習タスクで評価され、優れた一般化と最先端のベースラインを上回るパフォーマンスを実証しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have advanced graph structure understanding via recursive information exchange and aggregation among graph nodes. To improve model robustness, self-supervised learning (SSL) has emerged as a promising approach for data augmentation. However, existing methods for generating pre-trained graph embeddings often rely on fine-tuning with specific downstream task labels, which limits their usability in scenarios where labeled data is scarce or unavailable. To address this, our research focuses on advancing the generalization capabilities of graph models in challenging zero-shot learning scenarios. Inspired by the success of large language models (LLMs), we aim to develop a graph-oriented LLM that can achieve high generalization across diverse downstream datasets and tasks, even without any information available from the downstream graph data. In this work, we present the GraphGPT framework that aligns LLMs with graph structural knowledge with a graph instruction tuning paradigm. Our framework incorporates a text-graph grounding component to establish a connection between textual information and graph structures. Additionally, we propose a dual-stage instruction tuning paradigm, accompanied by a lightweight graph-text alignment projector. This paradigm explores self-supervised graph structural signals and task-specific graph instructions, to guide LLMs in understanding complex graph structures and improving their adaptability across different downstream tasks. Our framework is evaluated on supervised and zero-shot graph learning tasks, demonstrating superior generalization and outperforming state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google