MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models

要約

大規模言語モデル（LLM）は、自然言語理解と生成タスクにおいて目覚ましい性能を達成している。しかし、新しい知識の取り込みや幻覚の生成、推論プロセスの説明が難しいなどの制限に悩まされることが多い。これらの課題に対処するために、我々は知識グラフ（KG）を活用してLLMの推論と透明性を向上させる、新規なプロンプトパイプラインを提案する。本手法は、LLMがKGの入力を理解し、暗黙知と外部知識を組み合わせて推論することを可能にする。さらに、本手法はLLMのマインドマップを引き出し、知識のオントロジーに基づく推論経路を明らかにする。本手法を医療分野を中心とした様々な質問応答タスクで評価した結果、ベースラインに対して有意な改善が見られた。また、新しい幻覚評価ベンチマークを導入し、本手法の様々な構成要素の効果を分析する。我々の結果は、複合推論のためにLLMとKGからの知識をマージする際の我々の手法の有効性と頑健性を実証している。我々の結果を再現し、さらにフレームワークを拡張するために、我々のコードベースをhttps://github.com/wyl-willing/MindMap。

要約(オリジナル)

Large language models (LLMs) have achieved remarkable performance in natural language understanding and generation tasks. However, they often suffer from limitations such as difficulty in incorporating new knowledge, generating hallucinations, and explaining their reasoning process. To address these challenges, we propose a novel prompting pipeline, named \method, that leverages knowledge graphs (KGs) to enhance LLMs’ inference and transparency. Our method enables LLMs to comprehend KG inputs and infer with a combination of implicit and external knowledge. Moreover, our method elicits the mind map of LLMs, which reveals their reasoning pathways based on the ontology of knowledge. We evaluate our method on diverse question \& answering tasks, especially in medical domains, and show significant improvements over baselines. We also introduce a new hallucination evaluation benchmark and analyze the effects of different components of our method. Our results demonstrate the effectiveness and robustness of our method in merging knowledge from LLMs and KGs for combined inference. To reproduce our results and extend the framework further, we make our codebase available at https://github.com/wyl-willing/MindMap.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL