Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models — and Disappeared in GPT-4

要約

大規模言語モデル (LLM) は現在、AI システムを人間のコミュニケーションや日常生活と結びつける最前線にあります。
したがって、彼らの新たな能力を評価することが非常に重要です。
この研究では、LLM、特に GPT-3 が、人間のような直観と、それに伴う認知エラーに非常によく似た動作を示すことを示します。
しかし、より高い認知能力を持つ LLM、特に ChatGPT と GPT-4 は、これらのエラーに屈することを回避し、超合理的な方法で実行することを学習しました。
私たちの実験では、認知反射テスト (CRT) と、もともと人間の直感的な意思決定を調査するために設計された意味論的錯覚を使用して LLM を調査しました。
さらに、直感的な意思決定の傾向がどれほど強いかを調査します。
私たちの研究は、心理学の手法を使って LLM を調査すると、未知の新たな特徴を明らかにする可能性があることを示しています。

要約(オリジナル)

Large language models (LLMs) are currently at the forefront of intertwining AI systems with human communication and everyday life. Therefore, it is of great importance to evaluate their emerging abilities. In this study, we show that LLMs, most notably GPT-3, exhibit behavior that strikingly resembles human-like intuition — and the cognitive errors that come with it. However, LLMs with higher cognitive capabilities, in particular ChatGPT and GPT-4, learned to avoid succumbing to these errors and perform in a hyperrational manner. For our experiments, we probe LLMs with the Cognitive Reflection Test (CRT) as well as semantic illusions that were originally designed to investigate intuitive decision-making in humans. Moreover, we probe how sturdy the inclination for intuitive-like decision-making is. Our study demonstrates that investigating LLMs with methods from psychology has the potential to reveal otherwise unknown emergent traits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google