Thinking Fast and Slow in Large Language Models

要約

大規模言語モデル (LLM) は現在、AI システムを人間のコミュニケーションや日常生活と結びつける最前線にあります。
したがって、彼らの新たな能力を評価することが非常に重要です。
この研究では、GPT-3 のような LLM が人間のような直観と、それに伴う認知エラーに非常によく似た動作を示すことを示します。
しかし、より高い認知能力を持つ LLM、特に ChatGPT と GPT-4 は、これらのエラーに屈することを回避し、超合理的な方法で実行することを学習しました。
私たちの実験では、認知反射テスト (CRT) と、もともと人間の直感的な意思決定を調査するために設計された意味論的錯覚を使用して LLM を調査しました。
私たちの研究は、心理学の手法を使って LLM を調査すると、未知の新たな特徴を明らかにする可能性があることを示しています。

要約(オリジナル)

Large language models (LLMs) are currently at the forefront of intertwining AI systems with human communication and everyday life. Therefore, it is of great importance to evaluate their emerging abilities. In this study, we show that LLMs like GPT-3 exhibit behavior that strikingly resembles human-like intuition – and the cognitive errors that come with it. However, LLMs with higher cognitive capabilities, in particular ChatGPT and GPT-4, learned to avoid succumbing to these errors and perform in a hyperrational manner. For our experiments, we probe LLMs with the Cognitive Reflection Test (CRT) as well as semantic illusions that were originally designed to investigate intuitive decision-making in humans. Our study demonstrates that investigating LLMs with methods from psychology has the potential to reveal otherwise unknown emergent traits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google