Hierarchical Document Refinement for Long-context Retrieval-augmented Generation

要約

実際のRAGアプリケーションは、多くの場合、冗長な情報とノイズが推論コストの増加とパフォーマンスの低下をもたらす長いコンテキスト入力シナリオに遭遇します。
これらの課題に対処するために、長い文書の固有の構造特性を活用する効率的なプラグアンドプレイリファイナーであるLongRefinerを提案します。
Longrefinerは、単一の基礎モデルでのマルチタスク学習を通じて、デュアルレベルのクエリ分析、階層文書構造、および適応洗練を採用しています。
7つのQAデータセットでの実験は、LongRefinerがさまざまなシナリオで競争力のあるパフォーマンスを達成し、最良のベースラインと比較して10倍の計算コストと遅延を使用することを示しています。
さらなる分析では、LongRefinerがスケーラブルで効率的で効果的であることを検証し、現実世界のロングテキストRAGアプリケーションの実用的な洞察を提供します。
私たちのコードは、https：//github.com/ignorejjj/longrefinerで入手できます。

要約(オリジナル)

Real-world RAG applications often encounter long-context input scenarios, where redundant information and noise results in higher inference costs and reduced performance. To address these challenges, we propose LongRefiner, an efficient plug-and-play refiner that leverages the inherent structural characteristics of long documents. LongRefiner employs dual-level query analysis, hierarchical document structuring, and adaptive refinement through multi-task learning on a single foundation model. Experiments on seven QA datasets demonstrate that LongRefiner achieves competitive performance in various scenarios while using 10x fewer computational costs and latency compared to the best baseline. Further analysis validates that LongRefiner is scalable, efficient, and effective, providing practical insights for real-world long-text RAG applications. Our code is available at https://github.com/ignorejjj/LongRefiner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google