Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers

要約

プロンプト質問と多肢選択質問 (MCQ) は、操作と評価が容易なため、大規模言語モデル (LLM) の機能を評価するための好ましいアプローチとなっています。
このような実験的評価は、LLM が因果推論を実行したり、不確実性を把握したりする明らかな能力を指摘しています。
この論文では、LLM の基礎である直接テキスト補完としてこれらの問題を再定式化することにより、これらの問題をカスタマイズされたプロンプトと MCQ の外で測定できるかどうかを調査します。
この目標を達成するために、考えられる複数の結果を含むシナリオを定義し、プロンプトを通じて LLM によって行われた予測 (表明された回答) と、次のトークンの予測中にこれらの結果に対して LLM が計算した確率分布 (明らかにされた信念) を比較します。
私たちの調査結果は、LLMの明らかにされた信念が彼らの表明された回答とは大きく異なり、彼らの信念が多くのシナリオや結果でもたらす可能性のある複数の偏見や誤った表現を示唆していることを示唆しています。
テキスト補完は LLM の中核であるため、これらの結果は、一般的な評価方法では部分的な情報しか得られない可能性があり、その機能の範囲と性質を評価するにはさらなる研究が必要であることを示唆しています。

要約(オリジナル)

Prompting and Multiple Choices Questions (MCQ) have become the preferred approach to assess the capabilities of Large Language Models (LLMs), due to their ease of manipulation and evaluation. Such experimental appraisals have pointed toward the LLMs’ apparent ability to perform causal reasoning or to grasp uncertainty. In this paper, we investigate whether these abilities are measurable outside of tailored prompting and MCQ by reformulating these issues as direct text completion – the foundation of LLMs. To achieve this goal, we define scenarios with multiple possible outcomes and we compare the prediction made by the LLM through prompting (their Stated Answer) to the probability distributions they compute over these outcomes during next token prediction (their Revealed Belief). Our findings suggest that the Revealed Belief of LLMs significantly differs from their Stated Answer and hint at multiple biases and misrepresentations that their beliefs may yield in many scenarios and outcomes. As text completion is at the core of LLMs, these results suggest that common evaluation methods may only provide a partial picture and that more research is needed to assess the extent and nature of their capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google