Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation

要約

検索拡張生成 (RAG) は、外部知識の導入を通じて、オープンドメインの質問応答タスク (OpenQA) で大規模言語モデル (LLM) によって生成される事実誤認と幻覚出力の問題を軽減します。
しかし、複雑な QA の場合、既存の RAG 手法は、取得タイミングが実際の情報ニーズを正確に反映しているか、事前に取得した知識を十分に考慮しているかに関係なく、LLM を使用して取得タイミングを能動的に予測し、取得した情報を生成に直接使用するため、不十分な QA が発生する可能性があります。
情報収集とやり取りが行われ、質の低い回答が得られます。
これらに対処するために、複雑な QA タスク向けに、Adaptive Note-Enhanced RAG (Adaptive-Note) と呼ばれる一般的な RAG アプローチを提案します。これには、新しい Retriever および
-記憶パラダイム。
具体的には、アダプティブ ノートは知識の成長に関する包括的なビューを導入し、新しい情報をノートの形式で繰り返し収集し、既存の最適な知識構造に更新して、高品質の知識の相互作用を強化します。
さらに、十分な知識の探索を促進するために、適応的なメモベースの停止探索戦略を採用して、「何を取得するか、いつ停止するか」を決定します。
私たちは 5 つの複雑な QA データセットに対して広範な実験を実施し、その結果は私たちの手法とそのコンポーネントの優位性と有効性を実証しています。
コードとデータは https://github.com/thunlp/Adaptive-Note にあります。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) mitigates issues of the factual errors and hallucinated outputs generated by Large Language Models (LLMs) in open-domain question-answering tasks (OpenQA) via introducing external knowledge. For complex QA, however, existing RAG methods use LLMs to actively predict retrieval timing and directly use the retrieved information for generation, regardless of whether the retrieval timing accurately reflects the actual information needs, or sufficiently considers prior retrieved knowledge, which may result in insufficient information gathering and interaction, yielding low-quality answers. To address these, we propose a generic RAG approach called Adaptive Note-Enhanced RAG (Adaptive-Note) for complex QA tasks, which includes the iterative information collector, adaptive memory reviewer, and task-oriented generator, while following a new Retriever-and-Memory paradigm. Specifically, Adaptive-Note introduces an overarching view of knowledge growth, iteratively gathering new information in the form of notes and updating them into the existing optimal knowledge structure, enhancing high-quality knowledge interactions. In addition, we employ an adaptive, note-based stop-exploration strategy to decide ‘what to retrieve and when to stop’ to encourage sufficient knowledge exploration. We conduct extensive experiments on five complex QA datasets, and the results demonstrate the superiority and effectiveness of our method and its components. The code and data are at https://github.com/thunlp/Adaptive-Note.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google