On Exploring the Reasoning Capability of Large Language Models with Knowledge Graphs

要約

本論文では、LLMが内部知識グラフ、すなわち事前訓練で学習した知識グラフを用いて知識グラフを推論する能力を検証する。2つの研究課題を設定し、LLMが事前学習した知識グラフから情報を想起する精度と、文脈から知識グラフの関係を推論する能力を調査する。これらの質問に答えるために、我々はLLMを用いて4つの異なる知識グラフ推論タスクを実行させる。さらに、LLMを使った知識推論中に発生する可能性のある2種類の幻覚を特定する。我々の実験結果は、LLMが入力文脈から推論するだけでなく、自身の記憶から単純な知識グラフ推論タスクと複雑な知識グラフ推論タスクの両方に成功裏に取り組むことができることを示している。

要約(オリジナル)

This paper examines the capacity of LLMs to reason with knowledge graphs using their internal knowledge graph, i.e., the knowledge graph they learned during pre-training. Two research questions are formulated to investigate the accuracy of LLMs in recalling information from pre-training knowledge graphs and their ability to infer knowledge graph relations from context. To address these questions, we employ LLMs to perform four distinct knowledge graph reasoning tasks. Furthermore, we identify two types of hallucinations that may occur during knowledge reasoning with LLMs: content and ontology hallucination. Our experimental results demonstrate that LLMs can successfully tackle both simple and complex knowledge graph reasoning tasks from their own memory, as well as infer from input context.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL