ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models

要約

ナレッジ ベースの質問応答 (KBQA) は、大規模なナレッジ ベース (KB) に対する自然言語の質問に答えることを目的としています。これは、ナレッジの検索とセマンティック解析という 2 つの重要なステップに要約できます。
ただし、非効率的なナレッジ検索、セマンティック解析に悪影響を与える検索ミス、および以前の KBQA メソッドの複雑さという 3 つの主要な課題が残っています。
これらの課題に取り組むために、新規でシンプルな生成後取得 KBQA フレームワークである ChatKBQA を導入します。これは、最初に微調整された LLM を使用して論理形式を生成し、次に教師なし検索方法でエンティティとリレーションを取得および置換して、両方を改善することを提案します。
生成と取得をより直接的に行うことができます。
実験結果は、ChatKBQA が標準の KBQA データセット、WebQSP、および CWQ 上で新しい最先端のパフォーマンスを達成することを示しています。
この研究は、解釈可能で知識を必要とする質問応答のために LLM とナレッジ グラフ (KG) を組み合わせる新しいパラダイムとみなすこともできます。
私たちのコードは公開されています。

要約(オリジナル)

Knowledge Base Question Answering (KBQA) aims to answer natural language questions over large-scale knowledge bases (KBs), which can be summarized into two crucial steps: knowledge retrieval and semantic parsing. However, three core challenges remain: inefficient knowledge retrieval, mistakes of retrieval adversely impacting semantic parsing, and the complexity of previous KBQA methods. To tackle these challenges, we introduce ChatKBQA, a novel and simple generate-then-retrieve KBQA framework, which proposes first generating the logical form with fine-tuned LLMs, then retrieving and replacing entities and relations with an unsupervised retrieval method, to improve both generation and retrieval more directly. Experimental results show that ChatKBQA achieves new state-of-the-art performance on standard KBQA datasets, WebQSP, and CWQ. This work can also be regarded as a new paradigm for combining LLMs with knowledge graphs (KGs) for interpretable and knowledge-required question answering. Our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google