MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining

要約

豊富な属性を持つグラフは、相互接続されたエンティティをモデル化し、現実世界のさまざまなアプリケーションで予測を改善するために不可欠です。
属性付きグラフのモデリングに一般的に使用される従来のグラフ ニューラル ネットワーク (GNN) は、異なるグラフ タスクやデータセットに適用するたびに再トレーニングする必要があります。
大規模言語モデル (LLM) の出現により、自然言語処理に新しいパラダイムが導入されましたが、グラフ マイニングにおける LLM の生成可能性は依然としてほとんど研究されていません。
この目的を達成するために、私たちは新しいフレームワーク MuseGraph を提案します。これは、GNN と LLM の長所をシームレスに統合し、さまざまなタスクやデータセットにわたるグラフ マイニングのためのより効果的で汎用的なアプローチを促進します。
具体的には、まず、提案された適応入力生成を介してコンパクトなグラフ記述を導入し、言語トークン制限の制約の下でグラフからの重要な情報をカプセル化します。
次に、LLM (GPT-4 など) から推論機能を抽出して、さまざまなグラフ タスク用のタスク固有の思考連鎖ベースの命令パッケージを作成する、多様な命令生成メカニズムを提案します。
最後に、タスクとデータセット全体にわたる動的な命令パッケージ割り当て戦略を使用したグラフ認識命令チューニングを提案し、トレーニング プロセスの有効性と一般化を保証します。
私たちの実験結果は、さまざまなグラフ タスクにおける大幅な改善を示しており、LLM の生成能力を維持しながら、グラフ指向の下流タスクの精度を向上させる MuseGraph の可能性を示しています。

要約(オリジナル)

Graphs with abundant attributes are essential in modeling interconnected entities and improving predictions in various real-world applications. Traditional Graph Neural Networks (GNNs), which are commonly used for modeling attributed graphs, need to be re-trained every time when applied to different graph tasks and datasets. Although the emergence of Large Language Models (LLMs) has introduced a new paradigm in natural language processing, the generative potential of LLMs in graph mining remains largely under-explored. To this end, we propose a novel framework MuseGraph, which seamlessly integrates the strengths of GNNs and LLMs and facilitates a more effective and generic approach for graph mining across different tasks and datasets. Specifically, we first introduce a compact graph description via the proposed adaptive input generation to encapsulate key information from the graph under the constraints of language token limitations. Then, we propose a diverse instruction generation mechanism, which distills the reasoning capabilities from LLMs (e.g., GPT-4) to create task-specific Chain-of-Thought-based instruction packages for different graph tasks. Finally, we propose a graph-aware instruction tuning with a dynamic instruction package allocation strategy across tasks and datasets, ensuring the effectiveness and generalization of the training process. Our experimental results demonstrate significant improvements in different graph tasks, showcasing the potential of our MuseGraph in enhancing the accuracy of graph-oriented downstream tasks while keeping the generation powers of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google