Examining LLMs’ Uncertainty Expression Towards Questions Outside Parametric Knowledge

要約

大規模言語モデル (LLM) は、合理的な応答を生成するための十分なパラメトリック知識が不足している状況で、不確実性を表現できますか?
この研究は、そのような状況における LLM の行動を体系的に調査することを目的としており、誠実さと有用性の間のトレードオフを強調しています。
LLM の知識ギャップを正確に判断するという課題に取り組むために、存在しない概念や誤った前提を含む答えられない質問を診断的に作成し、それらが LLM の膨大なトレーニング データの範囲外であることを確認します。
答えられない質問と答えられる質問の両方で構成されるベンチマーク UnknownBench をコンパイルすることで、役に立ちながら誠実さを維持する LLM のパフォーマンスを定量的に評価します。
モデルに依存しない統一された信頼性導出アプローチを使用すると、ほとんどの LLM がパラメトリック知識の外にある質問に対して一貫して拒否したり、不確実性を表明したりできないことが観察されていますが、命令の微調整と調整技術はわずかな強化を提供できます。
さらに、LLM の不確実性の表現は、テキスト出力の認識された信頼性と常に一致するとは限りません。

要約(オリジナル)

Can large language models (LLMs) express their uncertainty in situations where they lack sufficient parametric knowledge to generate reasonable responses? This work aims to systematically investigate LLMs’ behaviors in such situations, emphasizing the trade-off between honesty and helpfulness. To tackle the challenge of precisely determining LLMs’ knowledge gaps, we diagnostically create unanswerable questions containing non-existent concepts or false premises, ensuring that they are outside the LLMs’ vast training data. By compiling a benchmark, UnknownBench, which consists of both unanswerable and answerable questions, we quantitatively evaluate the LLMs’ performance in maintaining honesty while being helpful. Using a model-agnostic unified confidence elicitation approach, we observe that most LLMs fail to consistently refuse or express uncertainty towards questions outside their parametric knowledge, although instruction fine-tuning and alignment techniques can provide marginal enhancements. Moreover, LLMs’ uncertainty expression does not always stay consistent with the perceived confidence of their textual outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google