To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation

要約

検索された生成は、モデルの固有の能力を超えて情報を組み込むことにより、外部の知識を取得する能力を大規模な言語モデルに装備し、それにより幻覚を軽減します。
ただし、ほとんどの以前の作品は、決定論的に検索を呼び出すことに焦点を当てているため、長い形式の質問応答などのタスクには適していません。
代わりに、基礎となるLLMに必要な知識がより効率的になる場合にのみ、それを呼び出すことにより、検索を動的に実行します。
これに関連して、私たちは「回収するかどうかを取得するかしないか」という質問をより深く掘り下げます。
複数の不確実性検出方法を調査することにより。
これらの方法を、ダイナミック検索を採用し、比較を提示する長い形式の質問応答のタスクを評価します。
我々の調査結果は、程度マトリックスジャッカードやエキセントリックなどの不確実性検出メトリックが、質問を解決する精度をわずかに減らすだけで、検索コールの数をほぼ半分に減らすことができることを示唆しています。

要約(オリジナル)

Retrieval-Augmented Generation equips large language models with the capability to retrieve external knowledge, thereby mitigating hallucinations by incorporating information beyond the model’s intrinsic abilities. However, most prior works have focused on invoking retrieval deterministically, which makes it unsuitable for tasks such as long-form question answering. Instead, dynamically performing retrieval by invoking it only when the underlying LLM lacks the required knowledge can be more efficient. In this context, we delve deeper into the question, ‘To Retrieve or Not to Retrieve?’ by exploring multiple uncertainty detection methods. We evaluate these methods for the task of long-form question answering, employing dynamic retrieval, and present our comparisons. Our findings suggest that uncertainty detection metrics, such as Degree Matrix Jaccard and Eccentricity, can reduce the number of retrieval calls by almost half, with only a slight reduction in question-answering accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google