EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation

要約

Exitを導入します。Exitは、質問回答（QA）で検索された生成（RAG）の有効性と効率の両方を強化する抽出コンテキスト圧縮フレームワークです。
現在のRAGシステムは、検索モデルが最も関連性の高いドキュメントのランク付けに失敗し、遅延と精度を犠牲にしてより多くのコンテキストを含めることにつながる場合にしばしば苦労します。
抽象的な圧縮方法はトークンカウントを大幅に減らすことができますが、トークンごとの生成プロセスはエンドツーエンドのレイテンシを大幅に増加させます。
逆に、既存の抽出方法はレイテンシを減らしますが、独立した適応性のない文の選択に依存しており、コンテキスト情報を完全に利用できません。
Exitは、取得したドキュメントから文を分類することにより、これらの制限に対処します – コンテキスト依存関係を保持しながら、クエリの複雑さと検索の品質に適応する並列化可能なコンテキスト認識の抽出を可能にします。
シングルホップとマルチホップの両方のQAタスクの両方での評価は、出口が既存の圧縮方法やQA精度の非圧縮ベースラインを常に上回り、推論時間とトークンカウントの大幅な削減を提供することを示しています。
Exitは、有効性と効率の両方を改善することにより、RAGパイプラインでスケーラブルで高品質のQAソリューションを開発するための有望な方向を提供します。
当社のコードは、https：//github.com/thisishwang/exitで入手できます

要約(オリジナル)

We introduce EXIT, an extractive context compression framework that enhances both the effectiveness and efficiency of retrieval-augmented generation (RAG) in question answering (QA). Current RAG systems often struggle when retrieval models fail to rank the most relevant documents, leading to the inclusion of more context at the expense of latency and accuracy. While abstractive compression methods can drastically reduce token counts, their token-by-token generation process significantly increases end-to-end latency. Conversely, existing extractive methods reduce latency but rely on independent, non-adaptive sentence selection, failing to fully utilize contextual information. EXIT addresses these limitations by classifying sentences from retrieved documents – while preserving their contextual dependencies – enabling parallelizable, context-aware extraction that adapts to query complexity and retrieval quality. Our evaluations on both single-hop and multi-hop QA tasks show that EXIT consistently surpasses existing compression methods and even uncompressed baselines in QA accuracy, while also delivering substantial reductions in inference time and token count. By improving both effectiveness and efficiency, EXIT provides a promising direction for developing scalable, high-quality QA solutions in RAG pipelines. Our code is available at https://github.com/ThisIsHwang/EXIT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google