ECoRAG: Evidentiality-guided Compression for Long Context RAG

要約

大規模な言語モデル（LLMS）は、検索された生成（RAG）を通じて外部ドキュメントを活用することにより、オープンドメイン質問応答（ODQA）の顕著なパフォーマンスを示しています。
より長いコンテキストから、ぼろきれのオーバーヘッドを減らすには、コンテキスト圧縮が必要です。
ただし、以前の圧縮方法では、LLMベースのRAGのパフォーマンスを制限する非自明情報の除外に焦点を当てていません。
したがって、私たちは証拠誘導ぼろきれ、またはecoragフレームワークを提案します。
Ecoragは、証拠に基づいて検索されたドキュメントを圧縮し、回答生成が正しい証拠によってサポートされているかどうかを確認することにより、LLMのパフォーマンスを向上させます。
追加のステップとして、Ecoragは圧縮コンテンツが十分な証拠を提供するかどうかを反映しており、そうでない場合は、十分になるまでさらに検索します。
実験は、EcoragがODQAタスクのLLMパフォーマンスを改善し、既存の圧縮方法を上回ることを示しています。
さらに、ecoragは潜時を減らすだけでなく、正しい答えを生成するために必要な情報のみを保持することでトークンの使用を最小限に抑えるため、非常に費用対効率が高くなります。
コードはhttps://github.com/ldilab/ecoragで入手できます。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable performance in Open-Domain Question Answering (ODQA) by leveraging external documents through Retrieval-Augmented Generation (RAG). To reduce RAG overhead, from longer context, context compression is necessary. However, prior compression methods do not focus on filtering out non-evidential information, which limit the performance in LLM-based RAG. We thus propose Evidentiality-guided RAG, or ECoRAG framework. ECoRAG improves LLM performance by compressing retrieved documents based on evidentiality, ensuring whether answer generation is supported by the correct evidence. As an additional step, ECoRAG reflects whether the compressed content provides sufficient evidence, and if not, retrieves more until sufficient. Experiments show that ECoRAG improves LLM performance on ODQA tasks, outperforming existing compression methods. Furthermore, ECoRAG is highly cost-efficient, as it not only reduces latency but also minimizes token usage by retaining only the necessary information to generate the correct answer. Code is available at https://github.com/ldilab/ECoRAG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google