GraphGPT: Graph Instruction Tuning for Large Language Models

要約

グラフ ニューラル ネットワーク (GNN) は、ノード間の再帰的な交換と集計を通じてグラフ構造を理解するために進化しました。
堅牢性を高めるために、自己教師あり学習 (SSL) はデータ拡張に不可欠なツールとなっています。
従来の方法はタスク固有のラベルを使用した微調整に依存することが多く、ラベル付きデータが不足している場合には効果が制限されます。
私たちの研究では、ゼロショット学習環境でグラフ モデルの一般化を進めることで、この問題に取り組んでいます。
大規模言語モデル (LLM) の成功に触発され、下流のグラフ データに依存せずに、さまざまなデータセットやタスクにわたって優れた一般化が可能なグラフ指向 LLM を作成することを目指しています。
グラフ命令チューニングを通じて LLM とグラフ構造知識を統合する GraphGPT フレームワークを紹介します。
このフレームワークには、テキスト構造とグラフ構造をリンクするためのテキスト グラフ基礎コンポーネントと、軽量のグラフ テキスト アラインメント プロジェクターを使用したデュアルステージ命令チューニング アプローチが含まれています。
これらの革新により、LLM は複雑なグラフ構造を理解し、多様なデータセットやタスクにわたる適応性を高めることができます。
私たちのフレームワークは、教師ありグラフ学習タスクとゼロショット グラフ学習タスクの両方で優れた一般化を実証し、既存のベンチマークを上回ります。
GraphGPT のオープンソース モデル実装は、https://github.com/HKUDS/GraphGPT で入手できます。

要約(オリジナル)

Graph Neural Networks (GNNs) have evolved to understand graph structures through recursive exchanges and aggregations among nodes. To enhance robustness, self-supervised learning (SSL) has become a vital tool for data augmentation. Traditional methods often depend on fine-tuning with task-specific labels, limiting their effectiveness when labeled data is scarce. Our research tackles this by advancing graph model generalization in zero-shot learning environments. Inspired by the success of large language models (LLMs), we aim to create a graph-oriented LLM capable of exceptional generalization across various datasets and tasks without relying on downstream graph data. We introduce the GraphGPT framework, which integrates LLMs with graph structural knowledge through graph instruction tuning. This framework includes a text-graph grounding component to link textual and graph structures and a dual-stage instruction tuning approach with a lightweight graph-text alignment projector. These innovations allow LLMs to comprehend complex graph structures and enhance adaptability across diverse datasets and tasks. Our framework demonstrates superior generalization in both supervised and zero-shot graph learning tasks, surpassing existing benchmarks. The open-sourced model implementation of our GraphGPT is available at https://github.com/HKUDS/GraphGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google