Estimating the Hallucination Rate of Generative AI

要約

この研究は、生成 AI を使用したインコンテキスト学習 (ICL) の幻覚率の推定に関するものです。
ICL では、条件付き生成モデル (CGM) にデータセットが要求され、そのデータセットに基づいて予測を行うように求められます。
ICL のベイジアン解釈は、CGM が潜在パラメーターとデータの未知のベイジアン モデルに対する事後予測分布を計算していることを前提としています。
この観点から、\textit{幻覚} を、真の潜在パラメータの下で確率が低い、生成された予測として定義します。
私たちは、ICL 問題 (CGM、データセット、予測質問) を使用して、CGM が幻覚を生成する確率を推定する新しい方法を開発しました。
私たちの方法では、モデルからクエリと応答を生成し、その応答ログの確率を評価するだけで済みます。
私たちは、大規模な言語モデルを使用して、合成回帰および自然言語 ICL タスクに関する手法を経験的に評価します。

要約(オリジナル)

This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a \textit{hallucination} as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem — that is, a CGM, a dataset, and a prediction question — and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google