Adaptive Retrieval Without Self-Knowledge? Bringing Uncertainty Back Home

要約

検索拡張生成 (RAG) は、質問応答 (QA) の正確性を向上させ、大規模言語モデル (LLM) の幻覚に対処しますが、計算コストは​​大幅に増加します。
さらに、RAG は無関係な情報が混入する可能性があるため、常に必要なわけではありません。
最近の適応検索手法は、LLM の固有の知識と LLM の自己知識にアピールする外部情報を統合しますが、効率の評価や不確実性推定手法との比較が無視されることがよくあります。
私たちは、QA パフォーマンス、自己知識、効率性に関する 10 の指標を使用して、6 つのデータセットにわたって、8 つの最近のアプローチと 27 の不確実性推定手法を含む 35 の適応検索手法の包括的な分析を実行することで、このギャップを埋めます。
私たちの調査結果は、不確実性推定技術は、同等の QA パフォーマンスを維持しながら、効率と自己知識の点で複雑なパイプラインよりも優れていることが多いことを示しています。

要約(オリジナル)

Retrieval Augmented Generation (RAG) improves correctness of Question Answering (QA) and addresses hallucinations in Large Language Models (LLMs), yet greatly increase computational costs. Besides, RAG is not always needed as may introduce irrelevant information. Recent adaptive retrieval methods integrate LLMs’ intrinsic knowledge with external information appealing to LLM self-knowledge, but they often neglect efficiency evaluations and comparisons with uncertainty estimation techniques. We bridge this gap by conducting a comprehensive analysis of 35 adaptive retrieval methods, including 8 recent approaches and 27 uncertainty estimation techniques, across 6 datasets using 10 metrics for QA performance, self-knowledge, and efficiency. Our findings show that uncertainty estimation techniques often outperform complex pipelines in terms of efficiency and self-knowledge, while maintaining comparable QA performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google