Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks

要約

タイトル – Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks
要約 –

– LLM（Large Language Models）の広範囲な適用により、LLMが生成する内容を正確かつ信頼できるものにすることが非常に重要になっている。
– 複雑な知識集約型タスクに対して、LLMが生成するコンテンツの正確性、信頼性、追跡性を向上するために、Search-in-the-Chain（SearChain）という新しいフレームワークを提案する。
– SearChainは、LLMと情報検索（IR）を深く統合したフレームワークである。LLMがマルチホップの質問を分解して構築する「クエリ・チェーン」と呼ばれるものを用いる。
– クエリ・チェーンの各ノードは、IR対向のクエリとLLMによって生成されたそのクエリに対する回答から構成されるクエリ・アンサーペアの一部である。IRはクエリ・チェーンの各ノードの情報を検証し、補完し、追跡することで、LLMが正しいクエリ・チェーンを構築し、最終的にマルチホップの質問に回答することを指導する。
– SearChainは、LLMがマルチホップの質問に直面した際に回答を与えようとするのではなく、クエリ・チェーンを構築するように変更することで、知識推論能力を刺激し、IRがLLMの推論過程に深く関わるためのインターフェイスを提供する。
– LLMが生成するコンテンツは、最終的な回答だけでなく、質問に対する推論プロセスであるクエリ・チェーンやIRが各ノードのクエリに対して取得したサポート文書を含めるようにすることで、信頼性と追跡性が強化される。
– 実験結果は、SearChainが4つのマルチホップ質問応答のデータセットで関連するベースラインに比べて優れた結果を出したことを示している。

要約(オリジナル)

With the wide application of Large Language Models (LLMs) such as ChatGPT, how to make the contents generated by LLM accurate and credible becomes very important, especially in complex knowledge-intensive tasks. In this paper, we propose a novel framework called Search-in-the-Chain (SearChain) to improve the accuracy, credibility and traceability of LLM-generated content for multi-hop question answering, which is a typical complex knowledge-intensive task. SearChain is a framework that deeply integrates LLM and information retrieval (IR). In SearChain, LLM constructs a chain-of-query, which is the decomposition of the multi-hop question. Each node of the chain is a query-answer pair consisting of an IR-oriented query and the answer generated by LLM for this query. IR verifies, completes, and traces the information of each node of the chain, so as to guide LLM to construct the correct chain-of-query, and finally answer the multi-hop question. SearChain makes LLM change from trying to give a answer to trying to construct the chain-of-query when faced with the multi-hop question, which can stimulate the knowledge-reasoning ability and provides the interface for IR to be deeply involved in reasoning process of LLM. IR interacts with each node of chain-of-query of LLM. It verifies the information of the node and provides the unknown knowledge to LLM, which ensures the accuracy of the whole chain in the process of LLM generating the answer. Besides, the contents returned by LLM to the user include not only the final answer but also the reasoning process for the question, that is, the chain-of-query and the supporting documents retrieved by IR for each node of the chain, which improves the credibility and traceability of the contents generated by LLM. Experimental results show SearChain outperforms related baselines on four multi-hop question-answering datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI