Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval

要約

検索された生成（RAG）は、関連する外部知識を取得および組み込むことにより、言語モデルを強化します。
ただし、従来の取得プロセスは、クエリが複数の検索手順を必要とするか、まったく必要とされる場合がある現実世界のシナリオには最適化されていない場合があります。
この論文では、言語モデルの中間層からの隠された状態表現を利用して、特定のクエリの追加の検索の必要性を適応的に決定するプロービングラグを提案します。
事前に訓練されたProberを採用することにより、プロービングラグはモデルの内部認知を効果的にキャプチャし、外部ドキュメントの取得に関する信頼できる意思決定を可能にします。
5つのオープンドメインQAデータセットにわたる実験結果は、冗長検索手順の数を減らしながら、プロービングラグが以前の方法を上回ることを示しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) enhances language models by retrieving and incorporating relevant external knowledge. However, traditional retrieve-and-generate processes may not be optimized for real-world scenarios, where queries might require multiple retrieval steps or none at all. In this paper, we propose a Probing-RAG, which utilizes the hidden state representations from the intermediate layers of language models to adaptively determine the necessity of additional retrievals for a given query. By employing a pre-trained prober, Probing-RAG effectively captures the model’s internal cognition, enabling reliable decision-making about retrieving external documents. Experimental results across five open-domain QA datasets demonstrate that Probing-RAG outperforms previous methods while reducing the number of redundant retrieval steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google