Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs

要約

大規模言語モデル (LLM) は、優れたパフォーマンスを示しますが、特に知識集約的なタスクでは幻覚に悩まされます。
既存の研究では、この問題を軽減するために、外部知識コーパスから取得した個々のテキスト単位で LLM を強化することが提案されています。
ただし、多くの分野では、テキストは相互に接続されており (たとえば、書誌グラフ内の学術論文は引用と共著者によってリンクされています)、(テキスト属性の) グラフを形成します。
このようなグラフ内の知識は、単一のテキスト/ノードだけでなく、それらに関連する接続にもエンコードされます。
グラフを使用して LLM を拡張する研究を促進するために、GRBench と呼ばれるグラフ推論ベンチマーク データセットを手動で構築します。このデータセットには、10 のドメイン グラフからの知識で回答できる 1,740 の質問が含まれています。
次に、LLM にグラフで反復的に推論することを奨励することで、グラフで LLM を強化するための、Graph Chain-of-thought (Graph-CoT) と呼ばれるシンプルで効果的なフレームワークを提案します。
各 Graph-CoT 反復は、LLM 推論、LLM グラフ相互作用、およびグラフ実行という 3 つのサブステップで構成されます。
GRBench 上で 3 つの LLM バックボーンを使用して系統的な実験を行っており、Graph-CoT は一貫してベースラインを上回っています。
コードは https://github.com/PeterGriffinJin/Graph-CoT で入手できます。

要約(オリジナル)

Large language models (LLMs), while exhibiting exceptional performance, suffer from hallucinations, especially on knowledge-intensive tasks. Existing works propose to augment LLMs with individual text units retrieved from external knowledge corpora to alleviate the issue. However, in many domains, texts are interconnected (e.g., academic papers in a bibliographic graph are linked by citations and co-authorships) which form a (text-attributed) graph. The knowledge in such graphs is encoded not only in single texts/nodes but also in their associated connections. To facilitate the research of augmenting LLMs with graphs, we manually construct a Graph Reasoning Benchmark dataset called GRBench, containing 1,740 questions that can be answered with the knowledge from 10 domain graphs. Then, we propose a simple and effective framework called Graph Chain-of-thought (Graph-CoT) to augment LLMs with graphs by encouraging LLMs to reason on the graph iteratively. Each Graph-CoT iteration consists of three sub-steps: LLM reasoning, LLM-graph interaction, and graph execution. We conduct systematic experiments with three LLM backbones on GRBench, where Graph-CoT outperforms the baselines consistently. The code is available at https://github.com/PeterGriffinJin/Graph-CoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google