Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks

要約

ChatGPT などの大規模言語モデル (LLM) によって生成されたコンテンツを正確で、信頼性があり、追跡可能にすることは、特に複数のステップで推論を必要とし、それぞれを解決するために知識が必要な複雑な知識集約型タスクでは非常に重要です。
情報検索 (IR) を導入して LLM に外部の知識を提供することは、この問題を解決する可能性が十分にあります。
ただし、LLM のどこに、どのように IR を導入するかは大きな課題です。
これまでの研究には、IR によって取得された誤った知識が LLM を誤解させたり、LLM の推論チェーンを破壊したりするという欠点がありました。
この論文では、課題を解決するために、LLM と IR の間の相互作用のための Search-in-the-Chain (SearChain) と呼ばれる新しいフレームワークを提案します。
まず、LLM は、各ノードが IR 指向のクエリとそのクエリに対する回答で構成される、Chain-of-Query (CoQ) と呼ばれるグローバル推論チェーンを生成します。
次に、IR は CoQ の各ノードの答えを検証し、IR が高い信頼度を与えた場合、取得した情報と一致しない答えを修正し、信頼性を向上させます。
第三に、LLM は CoQ で不足している知識をマークすることができ、IR はこの知識を LLM に提供できます。
これら 3 つの操作により、推論能力と知識の点で、複雑な知識集約型タスクに対する LLM の精度が向上します。
最後に、SearChain は推論プロセスを生成し、推論ステップごとにサポート文書への参照をマークします。これにより、トレーサビリティが向上します。
SeaChain は推論のトポロジーをチェーンからツリーに変換し、推論の方向を変更できます。
実験では、SearChain がマルチホップ質問応答、スロット充填、ファクトチェック、長文質問応答などの複雑な知識集約型タスクでベースラインよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Making the contents generated by Large Language Model (LLM) such as ChatGPT, accurate, credible and traceable is crucial, especially in complex knowledge-intensive tasks that require multi-step reasoning and each of which needs knowledge to solve. Introducing Information Retrieval (IR) to provide LLM with external knowledge is good potential to solve this problem. However, where and how to introduce IR into LLM is a big challenge. Previous work has the disadvantage that the wrong knowledge retrieved by IR misleads the LLM or breaks the reasoning chain of LLM. In this paper, we propose a novel framework called Search-in-the-Chain (SearChain) for the interaction between LLM and IR to solve the challenges. First, LLM generates the global reasoning chain called Chain-of-Query (CoQ) where each node consists of an IR-oriented query and the answer to the query. Second, IR verifies the answer of each node of CoQ, it corrects the answer that is not consistent with the retrieved information when IR gives high confidence, which improves the credibility. Third, LLM can mark its missing knowledge in CoQ and IR can provide this knowledge to LLM. These three operations improve the accuracy of LLM for complex knowledge-intensive tasks in terms of reasoning ability and knowledge. Finally, SearChain generates the reasoning process and marks references to supporting documents for each reasoning step, which improves traceability. SearChain transforms the topology of reasoning from chain to tree, which can modify the reasoning direction. Experiment shows that SearChain outperforms baselines on complex knowledge-intensive tasks including multi-hop question-answering, slot filling, fact checking, and long-form question-answering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google