Are Large Language Models More Honest in Their Probabilistic or Verbalized Confidence?

要約

大規模言語モデル (LLM) は、質問が内部の知識の限界を超えると幻覚を引き起こすことがわかっています。
信頼できるモデルは、知識の境界を明確に認識し、その範囲内で正しい答えを提供し、知識が不足している場合は回答を拒否する必要があります。
LLM の知識境界の認識に関する既存の研究では、通常、生成されたトークンの確率か、モデルの応答における信頼度として言語化された信頼度のいずれかを使用します。
しかし、これらの研究では、この 2 つの違いや関連性が見落とされています。
この論文では、LLM の確率的認識と事実知識境界の言語化された認識の包括的な分析と比較を行います。
まず、これら 2 つの認識の長所と短所を調査します。
次に、さまざまな周波数の質問の下でそれらがどのように変化するかを研究します。
最後に、LLM の確率的信頼と言語化された信頼の間の相関関係を測定します。
実験結果によると、1) LLM の確率的知覚は一般に言語化された知覚よりも正確ですが、信頼度のしきい値を調整するにはドメイン内検証セットが必要です。
2) どちらの認識も、頻度の低い質問ではパフォーマンスが向上します。
3) LLM にとって、内なる自信を自然言語で正確に表現することは困難です。

要約(オリジナル)

Large language models (LLMs) have been found to produce hallucinations when the question exceeds their internal knowledge boundaries. A reliable model should have a clear perception of its knowledge boundaries, providing correct answers within its scope and refusing to answer when it lacks knowledge. Existing research on LLMs’ perception of their knowledge boundaries typically uses either the probability of the generated tokens or the verbalized confidence as the model’s confidence in its response. However, these studies overlook the differences and connections between the two. In this paper, we conduct a comprehensive analysis and comparison of LLMs’ probabilistic perception and verbalized perception of their factual knowledge boundaries. First, we investigate the pros and cons of these two perceptions. Then, we study how they change under questions of varying frequencies. Finally, we measure the correlation between LLMs’ probabilistic confidence and verbalized confidence. Experimental results show that 1) LLMs’ probabilistic perception is generally more accurate than verbalized perception but requires an in-domain validation set to adjust the confidence threshold. 2) Both perceptions perform better on less frequent questions. 3) It is challenging for LLMs to accurately express their internal confidence in natural language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google