Navigating the Grey Area: Expressions of Overconfidence and Uncertainty in Language Models

要約

ますます流暢で、関連性があり、首尾一貫した言語生成が行われているにもかかわらず、人間と機械が言語を使用する方法の間には大きなギャップが残っています。
言語モデル (LM) の理解に欠けている重要な側面は、不確実性の表現を解釈して生成するモデルの能力であると主張します。
気象予報士が降水確率を発表する場合でも、医師が診断を下す場合でも、情報は白黒ではないことが多く、不確実性の表現は人間の意思決定をサポートするニュアンスを提供します。
野生でのLMの展開の増加により、LMが不確実性の表現を解釈できるかどうか、およびLMが独自の不確実性の表現を発することを学習するときにLMの行動がどのように変化するかを調査する動機が得られます。
プロンプトに不確実性の表現を挿入すると (たとえば、「答えは…だと思います」)、GPT3 の世代は、使用される表現に基づいて精度が 80% 以上異なることがわかります。
これらの表現の言語的特徴を分析し、確実性の自然な表現が存在する場合、精度が低下することを発見しました。
不確実性の独自の表現を放出するようにモデルを教える場合、同様の効果が見られます。モデルのキャリブレーションは、不確実性ではなく確実性を放出するようにモデルに教えるときに影響を受けます。
まとめると、これらの結果は、不確実性の信頼できる表現を解釈して生成する LM を構築するという課題を浮き彫りにしています。

要約(オリジナル)

Despite increasingly fluent, relevant, and coherent language generation, major gaps remain between how humans and machines use language. We argue that a key dimension that is missing from our understanding of language models (LMs) is the model’s ability to interpret and generate expressions of uncertainty. Whether it be the weatherperson announcing a chance of rain or a doctor giving a diagnosis, information is often not black-and-white and expressions of uncertainty provide nuance to support human-decision making. The increasing deployment of LMs in the wild motivates us to investigate whether LMs are capable of interpreting expressions of uncertainty and how LMs’ behaviors change when learning to emit their own expressions of uncertainty. When injecting expressions of uncertainty into prompts (e.g., ‘I think the answer is…’), we discover that GPT3’s generations vary upwards of 80% in accuracy based on the expression used. We analyze the linguistic characteristics of these expressions and find a drop in accuracy when naturalistic expressions of certainty are present. We find similar effects when teaching models to emit their own expressions of uncertainty, where model calibration suffers when teaching models to emit certainty rather than uncertainty. Together, these results highlight the challenges of building LMs that interpret and generate trustworthy expressions of uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google