Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework

要約

検索拡張生成 (RAG) は、大規模な言語モデルの幻覚問題を軽減する一般的なソリューションとして登場しました。
しかし、RAG に関する既存の研究では、予測の不確実性の問題、つまり、RAG モデルの予測が正しくなく、現実世界のアプリケーションで制御不能なリスクが生じる可能性がどの程度あるのかについてはほとんど扱われていません。
この作業では、リスク管理の重要性を強調し、RAG モデルが信頼度の低い質問への回答を積極的に拒否するようにします。
私たちの調査では、RAG の予測の信頼性に影響を与える 2 つの重要な潜在的要因、つまり、取得された結果の品質と、これらの結果の利用方法が特定されました。
RAG モデルがこれら 2 つの潜在的な要因に基づいて自分自身の自信を評価するように導くために、モデルにこれらの要因を変更するように誘導し、その回答への影響を分析する反事実プロンプト フレームワークを開発します。
また、棄権オプション付きで回答を収集するベンチマーク手順も導入し、一連の実験を容易にします。
評価のために、いくつかのリスク関連の指標を導入し、実験結果は私たちのアプローチの有効性を示しています。

要約(オリジナル)

Retrieval-augmented generation (RAG) has emerged as a popular solution to mitigate the hallucination issues of large language models. However, existing studies on RAG seldom address the issue of predictive uncertainty, i.e., how likely it is that a RAG model’s prediction is incorrect, resulting in uncontrollable risks in real-world applications. In this work, we emphasize the importance of risk control, ensuring that RAG models proactively refuse to answer questions with low confidence. Our research identifies two critical latent factors affecting RAG’s confidence in its predictions: the quality of the retrieved results and the manner in which these results are utilized. To guide RAG models in assessing their own confidence based on these two latent factors, we develop a counterfactual prompting framework that induces the models to alter these factors and analyzes the effect on their answers. We also introduce a benchmarking procedure to collect answers with the option to abstain, facilitating a series of experiments. For evaluation, we introduce several risk-related metrics and the experimental results demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google