Cognitive Effects in Large Language Models

要約

ChatGPT などの大規模言語モデル (LLM) は、過去 1 年間で大きな注目を集め、現在では毎日何億人もの人々に使用されています。
このテクノロジーの急速な導入により、当然のことながら、そのようなモデルが示す可能性のあるバイアスについての疑問が生じます。
この研究では、これらのモデルの 1 つ (GPT-3) を、人間の認知タスクで通常見られる体系的なパターンである一連の認知効果に対してテストしました。
私たちは、LLM が人間のいくつかの認知的影響を実際に受けやすいことを発見しました。
具体的には、プライミング、距離、SNARC、サイズ一致効果は GPT-3 で示されるが、アンカリング効果は存在しないことを示します。
私たちの方法論、特に現実世界の実験をテキストベースの実験に変換した方法について説明します。
最後に、GPT-3 がこれらの効果を示す考えられる理由を推測し、それらが模倣されたのか、それとも再発明されたのかについて議論します。

要約(オリジナル)

Large Language Models (LLMs) such as ChatGPT have received enormous attention over the past year and are now used by hundreds of millions of people every day. The rapid adoption of this technology naturally raises questions about the possible biases such models might exhibit. In this work, we tested one of these models (GPT-3) on a range of cognitive effects, which are systematic patterns that are usually found in human cognitive tasks. We found that LLMs are indeed prone to several human cognitive effects. Specifically, we show that the priming, distance, SNARC, and size congruity effects were presented with GPT-3, while the anchoring effect is absent. We describe our methodology, and specifically the way we converted real-world experiments to text-based experiments. Finally, we speculate on the possible reasons why GPT-3 exhibits these effects and discuss whether they are imitated or reinvented.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google