To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation

要約

検索拡張生成では、大規模な言語モデルに外部知識を検索する機能を装備し、モデルの本来の能力を超えた情報を組み込むことで幻覚を軽減します。
ただし、これまでのほとんどの研究は、決定論的に検索を呼び出すことに焦点を当てていたため、長文の質問応答などのタスクには適していませんでした。
代わりに、基礎となる LLM に必要な知識が不足している場合にのみ呼び出して取得を動的に実行する方が効率的です。
この文脈で、「取得するべきか、取得しないべきか?」という質問をさらに深く掘り下げます。
複数の不確実性検出方法を検討することによって。
私たちは、動的検索を使用して、長文の質問に答えるタスクに対してこれらの方法を評価し、比較を示します。
私たちの調査結果は、Degree Matrix Jaccard や Eccentricity などの不確実性検出メトリクスにより、質問応答の精度がわずかに低下するだけで、検索呼び出しの数をほぼ半分に削減できることを示唆しています。

要約(オリジナル)

Retrieval-Augmented Generation equips large language models with the capability to retrieve external knowledge, thereby mitigating hallucinations by incorporating information beyond the model’s intrinsic abilities. However, most prior works have focused on invoking retrieval deterministically, which makes it unsuitable for tasks such as long-form question answering. Instead, dynamically performing retrieval by invoking it only when the underlying LLM lacks the required knowledge can be more efficient. In this context, we delve deeper into the question, ‘To Retrieve or Not to Retrieve?’ by exploring multiple uncertainty detection methods. We evaluate these methods for the task of long-form question answering, employing dynamic retrieval, and present our comparisons. Our findings suggest that uncertainty detection metrics, such as Degree Matrix Jaccard and Eccentricity, can reduce the number of retrieval calls by almost half, with only a slight reduction in question-answering accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google