(Ir)rationality and Cognitive Biases in Large Language Models

要約

大規模言語モデル (LLM) は合理的な推論を示しますか?
LLM には、訓練されたデータに起因する人間のバイアスが含まれていることがわかっています。
これが合理的な推論に反映されているかどうかは、まだ明らかではありません。
この論文では、認知心理学の文献からのタスクを使用して 7 つの言語モデルを評価することで、この質問に答えます。
人間と同様に、LLM もこれらのタスクにおいて非合理性を示すことがわかりました。
しかし、この非合理性の現れ方は、人間が示す非合理性を反映していません。
これらのタスクに対して LLM が不正確な回答を与える場合、それらは多くの場合、人間のようなバイアスとは異なる方法で不正確です。
これに加えて、LLM は、応答の重大な不一致におけるさらなる不合理性の層を明らかにします。
実験結果とは別に、この論文は、この場合は合理的推論に関して、これらのタイプのモデルのさまざまな機能を評価および比較する方法を示すことで、方法論的な貢献を目指しています。

要約(オリジナル)

Do large language models (LLMs) display rational reasoning? LLMs have been shown to contain human biases due to the data they have been trained on; whether this is reflected in rational reasoning remains less clear. In this paper, we answer this question by evaluating seven language models using tasks from the cognitive psychology literature. We find that, like humans, LLMs display irrationality in these tasks. However, the way this irrationality is displayed does not reflect that shown by humans. When incorrect answers are given by LLMs to these tasks, they are often incorrect in ways that differ from human-like biases. On top of this, the LLMs reveal an additional layer of irrationality in the significant inconsistency of the responses. Aside from the experimental results, this paper seeks to make a methodological contribution by showing how we can assess and compare different capabilities of these types of models, in this case with respect to rational reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google