Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs

要約

大規模言語モデル (LLM) は、多くのタスクで優れたパフォーマンスを発揮しますが、知識の正確さが要求されるタスクに直面すると、幻覚を起こしたり、間違った答えを生成したりするリスクがあります。
この問題は、複数の論理推論ステップを必要とする論理クエリに対処する場合にさらに顕著になります。
一方、ナレッジ グラフ (KG) ベースの質問応答方法は、ナレッジ グラフを利用して正解を正確に特定できますが、ナレッジ グラフ自体がまばらで不完全な場合、その精度は急速に低下する可能性があります。
LLM の幻覚問題とナレッジ グラフの不完全性の問題の両方を軽減するために、相互に有益な方法でナレッジ グラフ推論を LLM と統合する方法は依然として重要な課題です。
この論文では、LLM とナレッジ グラフ ベースの論理クエリ推論を組み合わせた、この種では初めての「Logic-Query-of-Thoughts」(LGOT) を提案します。
LGOT はナレッジ グラフ推論と LLM をシームレスに組み合わせ、複雑な論理クエリを簡単に答えられるサブ質問に効果的に分解します。
ナレッジ グラフ推論と LLM の両方を利用することで、各サブ質問に対する答えを導き出すことができます。
これらの結果を集計し、各ステップで最高品質の回答候補を選択することにより、LGOT は複雑な質問に対して正確な結果を実現します。
私たちの実験結果は、ChatGPT と比較して最大 20% 向上する大幅なパフォーマンスの向上を示しています。

要約(オリジナル)

Despite the superb performance in many tasks, large language models (LLMs) bear the risk of generating hallucination or even wrong answers when confronted with tasks that demand the accuracy of knowledge. The issue becomes even more noticeable when addressing logic queries that require multiple logic reasoning steps. On the other hand, knowledge graph (KG) based question answering methods are capable of accurately identifying the correct answers with the help of knowledge graph, yet its accuracy could quickly deteriorate when the knowledge graph itself is sparse and incomplete. It remains a critical challenge on how to integrate knowledge graph reasoning with LLMs in a mutually beneficial way so as to mitigate both the hallucination problem of LLMs as well as the incompleteness issue of knowledge graphs. In this paper, we propose ‘Logic-Query-of-Thoughts’ (LGOT) which is the first of its kind to combine LLMs with knowledge graph based logic query reasoning. LGOT seamlessly combines knowledge graph reasoning and LLMs, effectively breaking down complex logic queries into easy to answer subquestions. Through the utilization of both knowledge graph reasoning and LLMs, it successfully derives answers for each subquestion. By aggregating these results and selecting the highest quality candidate answers for each step, LGOT achieves accurate results to complex questions. Our experimental findings demonstrate substantial performance enhancements, with up to 20% improvement over ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google