Incoherent Probability Judgments in Large Language Models

要約

次の言葉の予測のために訓練されたオートレーフレーフラージランゲージモデル（LLMS）は、コヒーレントテキストの作成において顕著な習熟度を示しています。
しかし、彼らは首尾一貫した確率判断を形成することに等しく熟達していますか？
確率的アイデンティティと繰り返し判断を使用して、LLMSによって行われた確率判断の一貫性を評価します。
我々の結果は、これらのモデルによって生成された判断がしばしば一貫性がなく、確率理論の規則から人間のような系統的逸脱を示すことを示しています。
さらに、同じ出来事を判断するよう促されたとき、LLMSによって生成された確率判断の平均分散関係は、人間で見られるような逆U字型を示しています。
これらの合理性からの逸脱は、自己回帰LLMを暗黙のベイジアン推論にリンクし、人間の確率判断のベイジアンサンプラーモデルと類似していることによって説明できることを提案します。

要約(オリジナル)

Autoregressive Large Language Models (LLMs) trained for next-word prediction have demonstrated remarkable proficiency at producing coherent text. But are they equally adept at forming coherent probability judgments? We use probabilistic identities and repeated judgments to assess the coherence of probability judgments made by LLMs. Our results show that the judgments produced by these models are often incoherent, displaying human-like systematic deviations from the rules of probability theory. Moreover, when prompted to judge the same event, the mean-variance relationship of probability judgments produced by LLMs shows an inverted-U-shaped like that seen in humans. We propose that these deviations from rationality can be explained by linking autoregressive LLMs to implicit Bayesian inference and drawing parallels with the Bayesian Sampler model of human probability judgments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google