LLM-Independent Adaptive RAG: Let the Question Speak for Itself

要約

大規模な言語モデル〜（LLMS）は幻覚を起こしやすく、検索された高等発電（RAG）はこれを緩和するのに役立ちますが、誤った情報を危険にさらしながら高い計算コストで役立ちます。
適応的検索は、必要な場合にのみ取得することを目的としていますが、既存のアプローチはLLMベースの不確実性推定に依存しています。
この研究では、外部情報に基づいて軽量LLMに依存しない適応検索方法を紹介します。
7つのグループとそのハイブリッドの組み合わせに編成された27の機能を調査しました。
これらの方法を6 QAデータセットで評価し、QAのパフォーマンスと効率を評価しました。
結果は、私たちのアプローチが複雑なLLMベースの方法のパフォーマンスと一致しながら、有意な効率の向上を達成し、適応検索の外部情報の可能性を示していることを示しています。

要約(オリジナル)

Large Language Models~(LLMs) are prone to hallucinations, and Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high computational cost while risking misinformation. Adaptive retrieval aims to retrieve only when necessary, but existing approaches rely on LLM-based uncertainty estimation, which remain inefficient and impractical. In this study, we introduce lightweight LLM-independent adaptive retrieval methods based on external information. We investigated 27 features, organized into 7 groups, and their hybrid combinations. We evaluated these methods on 6 QA datasets, assessing the QA performance and efficiency. The results show that our approach matches the performance of complex LLM-based methods while achieving significant efficiency gains, demonstrating the potential of external information for adaptive retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google