LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering

要約

長い文脈の質問応答 (LCQA) は、難しいタスクであり、長い文脈の文書を推論して質問に対する正確な回答を得ることが目的です。
LCQA 用の既存のロングコンテキスト大規模言語モデル (LLM) は、「途中で失われた」問題に悩まされることがよくあります。
検索拡張生成 (RAG) は、外部の事実証拠を提供することでこの問題を軽減します。
ただし、そのチャンキング戦略はグローバルな長いコンテキスト情報を混乱させ、長いコンテキストでの低品質の検索により、LLM が実質的な事実の詳細を特定するのを妨げます。
この目的を達成するために、我々は、複雑で長い文脈の知識（つまり、グローバルな情報と事実の詳細）に対するRAGの理解を強化するLCQAのための、一般的で二重の観点から堅牢なLLMベースのRAGシステムパラダイムであるLongRAGを提案します。
私たちは LongRAG をプラグ アンド プレイ パラダイムとして設計し、さまざまなドメインや LLM への適応を容易にします。
3 つのマルチホップ データセットに対する広範な実験により、LongRAG がロングコンテキスト LLM (6.94% 増加)、アドバンスド RAG (6.16% 増加)、および Vanilla RAG (17.25% 増加) よりも大幅に優れていることが実証されました。
さらに、定量的なアブレーション研究と多次元分析を実施し、システムのコンポーネントと微調整戦略の有効性を強調します。
データとコードは https://github.com/QingFei1/LongRAG で入手できます。

要約(オリジナル)

Long-Context Question Answering (LCQA), a challenging task, aims to reason over long-context documents to yield accurate answers to questions. Existing long-context Large Language Models (LLMs) for LCQA often struggle with the ‘lost in the middle’ issue. Retrieval-Augmented Generation (RAG) mitigates this issue by providing external factual evidence. However, its chunking strategy disrupts the global long-context information, and its low-quality retrieval in long contexts hinders LLMs from identifying effective factual details due to substantial noise. To this end, we propose LongRAG, a general, dual-perspective, and robust LLM-based RAG system paradigm for LCQA to enhance RAG’s understanding of complex long-context knowledge (i.e., global information and factual details). We design LongRAG as a plug-and-play paradigm, facilitating adaptation to various domains and LLMs. Extensive experiments on three multi-hop datasets demonstrate that LongRAG significantly outperforms long-context LLMs (up by 6.94%), advanced RAG (up by 6.16%), and Vanilla RAG (up by 17.25%). Furthermore, we conduct quantitative ablation studies and multi-dimensional analyses, highlighting the effectiveness of the system’s components and fine-tuning strategies. Data and code are available at https://github.com/QingFei1/LongRAG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google