GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability

要約

大規模言語モデル (LLM) の一般的な機能を評価し、強化することは重要な研究テーマです。
グラフは現実世界の一般的なデータ構造であり、グラフ データを理解することは一般知性を向上させるために重要な部分です。
LLM のグラフ理解能力を評価および強化するために、本稿では GraphInstruct という名前のベンチマークを提案します。このベンチマークには 21 の古典的なグラフ推論タスクが包括的に含まれており、多様なグラフ生成パイプラインと詳細な推論ステップが提供されます。
GraphInstruct に基づいて、効率的な命令チューニングを通じて GraphLM をさらに構築し、優れたグラフ理解能力を示します。
グラフ推論機能も含めて LLM を強化するために、ステップ マスク トレーニング戦略を提案し、GraphLM+ という名前のモデルを構築します。
LLM のグラフの理解と推論能力を強化するための先駆的な取り組みの 1 つとして、広範な実験により、GraphLM および GraphLM+ が他の LLM よりも優れていることが実証されました。
私たちは、より多くの研究者が GraphInstruct を通じてグラフ データ マイニング ドメインにおける LLM の可能性を探究することを楽しみにしています。
GraphInstruct を生成するコードは、https://github.com/CGCL-codes/GraphInstruct で公開されています。

要約(オリジナル)

Evaluating and enhancing the general capabilities of large language models (LLMs) has been an important research topic. Graph is a common data structure in the real world, and understanding graph data is a crucial part for advancing general intelligence. To evaluate and enhance the graph understanding abilities of LLMs, in this paper, we propose a benchmark named GraphInstruct, which comprehensively includes 21 classical graph reasoning tasks, providing diverse graph generation pipelines and detailed reasoning steps. Based on GraphInstruct, we further construct GraphLM through efficient instruction-tuning, which shows prominent graph understanding capability. In order to enhance the LLM with graph reasoning capability as well, we propose a step mask training strategy, and construct a model named GraphLM+. As one of the pioneering efforts to enhance the graph understanding and reasoning abilities of LLMs, extensive experiments have demonstrated the superiority of GraphLM and GraphLM+ over other LLMs. We look forward to more researchers exploring the potential of LLMs in the graph data mining domain through GraphInstruct. Our code for generating GraphInstruct is released publicly at: https://github.com/CGCL-codes/GraphInstruct.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google