LLM Cognitive Judgements Differ From Human

要約

大規模言語モデル (LLM) は、最近、研究者、企業、消費者の間で同様に注目を集めています。
このようなモデルの言語能力は広範囲に研究されてきましたが、認知の対象としてモデルを研究することへの関心が高まっています。
現在の研究では、認知科学文献からの限られたデータの帰納的推論タスクに関する GPT-3 と ChatGPT の機能を検証します。
この結果は、これらのモデルの認知的判断が人間らしくないことを示唆しています。

要約(オリジナル)

Large Language Models (LLMs) have lately been on the spotlight of researchers, businesses, and consumers alike. While the linguistic capabilities of such models have been studied extensively, there is growing interest in investigating them as cognitive subjects. In the present work I examine GPT-3 and ChatGPT capabilities on an limited-data inductive reasoning task from the cognitive science literature. The results suggest that these models’ cognitive judgements are not human-like.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google