Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers

要約

複数選択の質問（MCQ）は、操作と評価が容易なため、大規模な言語モデル（LLM）の機能を評価するために一般的に使用されるアプローチとなっています。
LLMSの述べられた答え（MCQに対する彼らの答え）の実験的評価は、確率的推論を実行したり、不確実性を把握する彼らの明らかな能力を指摘しています。
この作業では、これらの問題がLLMの基本的な計算単位である直接的なテキスト完了ユニットとしてこれらの問題を再定式化することにより、これらの適性がテーラードプロンプトとMCQを測定可能であるかどうかを調査します。
明らかにされた信念を紹介します。これは、テキスト完了確率分布を分析することによりMCQスコアリングを補完する不確実性の下での推論を必要とするタスクでLLMSを評価する評価フレームワークです。
私たちの調査結果は、LLMが頻繁に正解を述べているが、彼らの明らかにされた信念は、しばしば確率の質量を一貫性のないものに割り当て、体系的なバイアスを示し、しばしば新しい証拠が提示されたときに信念を適切に更新できず、下流タスクへの強い潜在的な影響をもたらすことを示唆していることを示唆しています。
これらの結果は、一般的な評価方法が部分的な絵のみを提供する可能性があり、能力の範囲と性質を評価するためにさらに研究が必要であることを示唆しています。

要約(オリジナル)

Multiple Choice Questions (MCQ) have become a commonly used approach to assess the capabilities of Large Language Models (LLMs), due to their ease of manipulation and evaluation. The experimental appraisals of the LLMs’ Stated Answer (their answer to MCQ) have pointed to their apparent ability to perform probabilistic reasoning or to grasp uncertainty. In this work, we investigate whether these aptitudes are measurable outside tailored prompting and MCQ by reformulating these issues as direct text-completion – the fundamental computational unit of LLMs. We introduce Revealed Belief, an evaluation framework that evaluates LLMs on tasks requiring reasoning under uncertainty, which complements MCQ scoring by analyzing text-completion probability distributions. Our findings suggest that while LLMs frequently state the correct answer, their Revealed Belief shows that they often allocate probability mass inconsistently, exhibit systematic biases, and often fail to update their beliefs appropriately when presented with new evidence, leading to strong potential impacts on downstream tasks. These results suggest that common evaluation methods may only provide a partial picture and that more research is needed to assess the extent and nature of their capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google