LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation

要約

検索拡張生成 (RAG) は、LLM に最新の関連知識を提供することで、古い知識や幻覚を軽減する上で大きな価値を示します。
ただし、RAG が複雑なマルチホップ クエリを理解し、関連するドキュメントを取得するには依然としていくつかの困難があり、LLM が段階的に推論を実行して取得する必要があります。
必要な情報を徐々に検索する人間の推論プロセスにヒントを得て、LLM が推論の各ステップで不足している情報に気づくことができるかどうかを尋ねるのは自然なことです。
この研究では、まず、LLM が情報を抽出する能力と、欠落しているものを知る能力を実験的に検証しました。
上記の発見に基づいて、我々は、欠落情報の識別を利用して、その後の知識検索を方向付けるターゲットを絞ったクエリを生成する、欠落情報誘導検索抽出解決パラダイム (MIGRES) を提案します。
さらに、クリーンアップされた文書から有用な情報を抽出する LLM の情報抽出機能とともに、文書から無関係なコンテンツを除外する文レベルの再ランキング フィルタリング アプローチを設計します。これにより、RAG の全体的な有効性が強化されます。
。
複数の公開データセットに対して行われた広範な実験により、提案された MIGRES 手法の優位性が明らかになり、分析実験により、提案されたモジュールの有効性が実証されました。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) demonstrates great value in alleviating outdated knowledge or hallucination by supplying LLMs with updated and relevant knowledge. However, there are still several difficulties for RAG in understanding complex multi-hop query and retrieving relevant documents, which require LLMs to perform reasoning and retrieve step by step. Inspired by human’s reasoning process in which they gradually search for the required information, it is natural to ask whether the LLMs could notice the missing information in each reasoning step. In this work, we first experimentally verified the ability of LLMs to extract information as well as to know the missing. Based on the above discovery, we propose a Missing Information Guided Retrieve-Extraction-Solving paradigm (MIGRES), where we leverage the identification of missing information to generate a targeted query that steers the subsequent knowledge retrieval. Besides, we design a sentence-level re-ranking filtering approach to filter the irrelevant content out from document, along with the information extraction capability of LLMs to extract useful information from cleaned-up documents, which in turn to bolster the overall efficacy of RAG. Extensive experiments conducted on multiple public datasets reveal the superiority of the proposed MIGRES method, and analytical experiments demonstrate the effectiveness of our proposed modules.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google