ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models

要約

ナレッジ ベースの質問応答 (KBQA) は、大規模なナレッジ ベース (KB) から自然言語の質問に対する回答を導き出すことを目的としています。KB は通常、知識の検索と意味解析の 2 つの研究コンポーネントに分かれています。
ただし、非効率的なナレッジ検索、セマンティック解析に悪影響を与える検索エラー、および以前の KBQA メソッドの複雑さという 3 つの主要な課題が残っています。
大規模言語モデル (LLM) の時代に、Llama-2、ChatGLM2、Baichuan2 などの微調整オープンソース LLM に基づいて構築された、新しい生成後取得 KBQA フレームワークである ChatKBQA を紹介します。
ChatKBQA は、最初に微調整された LLM を使用して論理形式を生成し、次に教師なし検索メソッドを通じてエンティティとリレーションを検索および置換することを提案しています。これにより、生成と検索の両方がより直接的に改善されます。
実験の結果、ChatKBQA が標準の KBQA データセット、WebQSP、および ComplexWebQuestions (CWQ) 上で新しい最先端のパフォーマンスを達成することが明らかになりました。
この研究は、解釈可能で知識を必要とする質問応答のために、LLM とナレッジ グラフ (KG) を組み合わせるための新しいパラダイムも提供します。
私たちのコードは公開されています。

要約(オリジナル)

Knowledge Base Question Answering (KBQA) aims to derive answers to natural language questions over large-scale knowledge bases (KBs), which are generally divided into two research components: knowledge retrieval and semantic parsing. However, three core challenges remain, including inefficient knowledge retrieval, retrieval errors adversely affecting semantic parsing, and the complexity of previous KBQA methods. In the era of large language models (LLMs), we introduce ChatKBQA, a novel generate-then-retrieve KBQA framework built on fine-tuning open-source LLMs such as Llama-2, ChatGLM2 and Baichuan2. ChatKBQA proposes generating the logical form with fine-tuned LLMs first, then retrieving and replacing entities and relations through an unsupervised retrieval method, which improves both generation and retrieval more straightforwardly. Experimental results reveal that ChatKBQA achieves new state-of-the-art performance on standard KBQA datasets, WebQSP, and ComplexWebQuestions (CWQ). This work also provides a new paradigm for combining LLMs with knowledge graphs (KGs) for interpretable and knowledge-required question answering. Our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google