UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation

要約

我々は、テキストチャンク間の類似性を推定するために、信号対雑音比（SNR）に基づくスパンの不確実性を利用する、ロングコンテキストのRAG（Retrieval-Augmented Generation）のための新しいアプローチであるUncertaintyRAGを発表する。このスパンの不確実性はモデルの較正を強化し、頑健性を向上させ、ランダムチャンキングによってもたらされる意味的矛盾を緩和する。この洞察を活用し、効果的なデータサンプリングとスケーリング戦略とともに、検索モデルを学習するための効率的な教師なし学習技術を提案する。UncertaintyRAGは、LLaMA-2-7Bにおいてベースラインを2.03%上回り、分布シフト設定下で他の先進的なオープンソース検索モデルと比較して、わずか4%の学習データを使用しながら最先端の結果を達成した。本手法は、スパンの不確かさを通して強力な適合性を示し、ロングコンテキストのRAGタスクにおける汎化と頑健性の向上につながる。さらに、UncertaintyRAGは、微調整の必要なく、様々なコンテキストウィンドウ長を持つ大規模言語モデルに統合可能な軽量検索モデルを提供し、我々のアプローチの柔軟性を示す。

要約(オリジナル)

We present UncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG) that utilizes Signal-to-Noise Ratio (SNR)-based span uncertainty to estimate similarity between text chunks. This span uncertainty enhances model calibration, improving robustness and mitigating semantic inconsistencies introduced by random chunking. Leveraging this insight, we propose an efficient unsupervised learning technique to train the retrieval model, alongside an effective data sampling and scaling strategy. UncertaintyRAG outperforms baselines by 2.03% on LLaMA-2-7B, achieving state-of-the-art results while using only 4% of the training data compared to other advanced open-source retrieval models under distribution shift settings. Our method demonstrates strong calibration through span uncertainty, leading to improved generalization and robustness in long-context RAG tasks. Additionally, UncertaintyRAG provides a lightweight retrieval model that can be integrated into any large language model with varying context window lengths, without the need for fine-tuning, showcasing the flexibility of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL