Search-in-the-Chain: Towards the Accurate, Credible and Traceable Content Generation for Complex Knowledge-intensive Tasks

要約

タイトル：Search-in-the-Chain：複雑な知識集約タスクの正確で信頼性の高くトレース可能なコンテンツ生成に向けて

要約：

– LLMの広範な応用により、特に複雑な知識集約タスクにおいて、LLMによって生成されるコンテンツを正確で信頼性の高いものにする方法が非常に重要になっています。
– 本論文では、多段階の質問応答を想定した典型的な複雑な知識集約タスクに対して、LLMによって生成されたコンテンツの正確性、信頼性、追跡性を向上させるための新しいフレームワークであるSearChainを提案しています。
– SearChainは、LLMと情報検索（IR）を深く統合したフレームワークです。LLMは、多段階質問の分解であるクエリチェーンを構築します。チェーンの各ノードは、IR指向のクエリと、そのクエリに対してLLMが生成した回答から構成されるクエリ-回答ペアです。IRは、チェーンの各ノードの情報を検証、補完、トレースし、LLMが正しいクエリチェーンを構築し、最終的に多段階質問に応答するための指導を行います。
– SearChainにより、LLMは多段階質問に直面したときに回答を与えようとするのではなく、正しいクエリチェーンを構築しようとするようになり、知識推論能力を刺激し、IRがLLMの推論プロセスに深く関与するためのインターフェースを提供することができます。
– LLMからユーザーに返されるコンテンツには、最終的な回答だけでなく、質問の推論プロセスであるクエリチェーンと、IRがチェーンの各ノードに対して検索したサポート文書も含まれており、LLMによって生成されたコンテンツの信憑性と追跡性を向上させます。
– 実験結果は、SearChainが4つの多段階質問応答のデータセットで関連するベースラインを上回ることを示しています。

要約(オリジナル)

With the wide application of Large Language Models (LLMs) such as ChatGPT, how to make the contents generated by LLM accurate and credible becomes very important, especially in complex knowledge-intensive tasks. In this paper, we propose a novel framework called Search-in-the-Chain (SearChain) to improve the accuracy, credibility and traceability of LLM-generated content for multi-hop question answering, which is a typical complex knowledge-intensive task. SearChain is a framework that deeply integrates LLM and information retrieval (IR). In SearChain, LLM constructs a chain-of-query, which is the decomposition of the multi-hop question. Each node of the chain is a query-answer pair consisting of an IR-oriented query and the answer generated by LLM for this query. IR verifies, completes, and traces the information of each node of the chain, so as to guide LLM to construct the correct chain-of-query, and finally answer the multi-hop question. SearChain makes LLM change from trying to give a answer to trying to construct the chain-of-query when faced with the multi-hop question, which can stimulate the knowledge-reasoning ability and provides the interface for IR to be deeply involved in reasoning process of LLM. IR interacts with each node of chain-of-query of LLM. It verifies the information of the node and provides the unknown knowledge to LLM, which ensures the accuracy of the whole chain in the process of LLM generating the answer. Besides, the contents returned by LLM to the user include not only the final answer but also the reasoning process for the question, that is, the chain-of-query and the supporting documents retrieved by IR for each node of the chain, which improves the credibility and traceability of the contents generated by LLM. Experimental results show SearChain outperforms related baselines on four multi-hop question-answering datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI