Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models

要約

知識と事実を伴う現実世界のタスクへの LM の導入が増加しているため、モデルの認識論、つまり LM が何を知っていると考えているのか、そしてその知識に対する彼らの態度が入力での言語使用によってどのように影響を受けるのかを理解することが重要になっています。
ここでは、モデル認識論の一側面を研究します。つまり、「確かにそうだ」「私はそうだと思う」「ウィキペディアによるとそうだ」などの確実性、不確実性、証拠性の認識マーカーがモデルにどのように影響するか、またそれらがモデルに寄与するかどうかを研究します。
失敗。
私たちは認識マーカーの類型を開発し、50 個のマーカーを質問応答のプロンプトに挿入します。
LM はプロンプト内の認識マーカーに非常に敏感であり、精度のばらつきが 80% 以上であることがわかりました。
驚くべきことに、確実性の高い式は、確実性の低い式と比較して精度が 7% 低下することがわかりました。
同様に、事実動詞はパフォーマンスに悪影響を及ぼしますが、証拠はパフォーマンスに利益をもたらします。
一般的な事前トレーニング データセットを分析したところ、これらの不確実性のマーカーは質問応答 Web サイトの回答に関連付けられているのに対し、確実性のマーカーは質問に関連付けられていることがわかりました。
これらの関連性は、LM の行動が認識論的不確実性を真に反映しているのではなく、観察された言語使用の模倣に基づいていることを示唆している可能性があります。

要約(オリジナル)

The increased deployment of LMs for real-world tasks involving knowledge and facts makes it important to understand model epistemology: what LMs think they know, and how their attitudes toward that knowledge are affected by language use in their inputs. Here, we study an aspect of model epistemology: how epistemic markers of certainty, uncertainty, or evidentiality like ‘I’m sure it’s’, ‘I think it’s’, or ‘Wikipedia says it’s’ affect models, and whether they contribute to model failures. We develop a typology of epistemic markers and inject 50 markers into prompts for question answering. We find that LMs are highly sensitive to epistemic markers in prompts, with accuracies varying more than 80%. Surprisingly, we find that expressions of high certainty result in a 7% decrease in accuracy as compared to low certainty expressions; similarly, factive verbs hurt performance, while evidentials benefit performance. Our analysis of a popular pretraining dataset shows that these markers of uncertainty are associated with answers on question-answering websites, while markers of certainty are associated with questions. These associations may suggest that the behavior of LMs is based on mimicking observed language use, rather than truly reflecting epistemic uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google