Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks

要約

タイトル：知識重視タスクにおける正確で信頼性の高くトレース可能な大規模言語モデルのためのSearch-in-the-Chain

要約：

– 大規模言語モデル（LLM）の広範な応用により、LLMが生成するコンテンツを正確かつ信頼性が高くする方法が重要になっている。
– 複雑な知識重視タスクであるマルチホップ質問応答の場合、LLMによって生成されたコンテンツの正確性、信頼性、トレース性を改善する革新的な枠組みであるSearch-in-the-Chain（SearChain）を提案する。
– SearChainは、LLMと情報検索（IR）を深く統合したフレームワークであり、LLMがマルチホップ質問を分解したクエリチェーンを構築する。各ノードは、IR指向のクエリとそのクエリに対してLLMが生成した回答から構成される。
– IRは、クエリチェーンの各ノードの情報を検証し、補完し、トレースすることで、LLMが正しいクエリチェーンを構築し、最終的にマルチホップ質問に回答するためのガイドを提供する。
– LLMは、マルチホップ質問に面して、回答を返すことからクエリチェーンを構築することに変更される。この方法は、知識推論能力を刺激し、IRがLLMの推論プロセスに深く関与するためのインターフェースを提供することができる。
– LLMが生成するコンテンツには、最終的な回答だけでなく、質問の推論プロセスであるクエリチェーンと、IRが各ノードのサポート文書を取得したという情報も含まれている。これにより、LLMが生成するコンテンツの信頼性とトレース性を向上させることができる。
– 実験結果は、SearChainが4つのマルチホップ質問応答データセットにおいて関連するベースラインよりも優れた性能を発揮したことを示している。

要約(オリジナル)

With the wide application of Large Language Models (LLMs) such as ChatGPT, how to make the contents generated by LLM accurate and credible becomes very important, especially in complex knowledge-intensive tasks. In this paper, we propose a novel framework called Search-in-the-Chain (SearChain) to improve the accuracy, credibility and traceability of LLM-generated content for multi-hop question answering, which is a typical complex knowledge-intensive task. SearChain is a framework that deeply integrates LLM and information retrieval (IR). In SearChain, LLM constructs a chain-of-query, which is the decomposition of the multi-hop question. Each node of the chain is a query-answer pair consisting of an IR-oriented query and the answer generated by LLM for this query. IR verifies, completes, and traces the information of each node of the chain, so as to guide LLM to construct the correct chain-of-query, and finally answer the multi-hop question. SearChain makes LLM change from trying to give a answer to trying to construct the chain-of-query when faced with the multi-hop question, which can stimulate the knowledge-reasoning ability and provides the interface for IR to be deeply involved in reasoning process of LLM. IR interacts with each node of chain-of-query of LLM. It verifies the information of the node and provides the unknown knowledge to LLM, which ensures the accuracy of the whole chain in the process of LLM generating the answer. Besides, the contents returned by LLM to the user include not only the final answer but also the reasoning process for the question, that is, the chain-of-query and the supporting documents retrieved by IR for each node of the chain, which improves the credibility and traceability of the contents generated by LLM. Experimental results show SearChain outperforms related baselines on four multi-hop question-answering datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI