MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models

要約

LLM は通常、新しい知識を取り入れる能力、幻覚の生成、意思決定プロセスの透明性において限界を示します。
このペーパーでは、LLM に最新の知識を与え、LLM から推論経路を引き出すための救済策として、ナレッジ グラフ (KG) で LLM を促す方法を検討します。
具体的には、KG 入力を理解し、暗黙の知識と取得した外部知識を組み合わせて推論する能力を LLM に与えるプロンプト パイプラインを構築します。
さらに、LLM が推論を実行して答えを生成するマインド マップの導出についても調査します。
作成されたマインド マップは、知識のオントロジーに基づいた LLM の推論経路を示していることが確認されており、したがって、本番環境で LLM 推論を調査および評価できる可能性がもたらされます。
3 つの質問と回答のデータセットでの実験では、マインドマップのプロンプトが顕著な経験的利益につながることも示しています。
たとえば、MindMap で GPT-3.5 を実行すると、一貫して GPT-4 を上回る圧倒的なパフォーマンスが得られます。
また、KG から取得した構造化された事実を使用すると、MindMap が一連の文書検索プロンプト手法よりも優れたパフォーマンスを発揮し、KG からのより正確で簡潔かつ包括的な知識の恩恵を受けることができることも実証します。

要約(オリジナル)

LLMs usually exhibit limitations in their ability to incorporate new knowledge, the generation of hallucinations, and the transparency of their decision-making process. In this paper, we explore how to prompt LLMs with knowledge graphs (KG), working as a remedy to engage LLMs with up-to-date knowledge and elicit the reasoning pathways from LLMs. Specifically, we build a prompting pipeline that endows LLMs with the capability of comprehending KG inputs and inferring with a combined implicit knowledge and the retrieved external knowledge. In addition, we investigate eliciting the mind map on which LLMs perform the reasoning and generate the answers. It is identified that the produced mind map exhibits the reasoning pathways of LLMs grounded on the ontology of knowledge, hence bringing the prospects of probing and gauging LLM inference in production. The experiments on three question & answering datasets also show that MindMap prompting leads to a striking empirical gain. For instance, prompting a GPT-3.5 with MindMap yields an overwhelming performance over GPT-4 consistently. We also demonstrate that with structured facts retrieved from KG, MindMap can outperform a series of prompting-with-document-retrieval methods, benefiting from more accurate, concise, and comprehensive knowledge from KGs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google