Language models show human-like content effects on reasoning tasks

要約

抽象的な推論は、インテリジェント システムにとって重要な能力です。
大規模言語モデル (LM) は、抽象的な推論タスクで期待以上のパフォーマンスを達成しますが、多くの不完全性が見られます。
しかし、人間の抽象的な推論も不完全です。
たとえば、人間の推論は現実世界の知識や信念の影響を受け、顕著な「コンテンツ効果」を示します。
問題の意味内容が正しい論理的推論をサポートしている場合、人間はより確実に推論します。
これらの内容が絡み合った推論パターンは、人間の知性の基本的な性質に関する議論において中心的な役割を果たします。
ここでは、事前の期待が人間の知識 $\unicode{x2014}$ のいくつかの側面を捕捉する言語モデル $\unicode{x2014}$ が、論理的問題に対する答えにコンテンツを同様に混ぜ込むかどうかを調査します。
私たちは、自然言語推論、三段論法の論理的妥当性の判断、および和語選択タスクという 3 つの論理推論タスクにわたってこの質問を調査しました。
私たちは人間だけでなく最先端の大規模言語モデルも評価しました。その結果、言語モデルはこれらのタスク $\unicode{x2014}$ にわたって人間で観察されるのと同じパターンの多くを反映していることがわかりました。人間と同様に、モデルはセマンティクスが適切な場合により正確に応答します。
タスクの内容は論理的推論をサポートします。
これらの類似点は、回答パターンと、模範解答の分布と人間の応答時間の関係などの下位レベルの機能の両方に反映されています。
私たちの発見は、人間におけるこれらの認知効果と、言語モデルのパフォーマンスに寄与する要因の両方を理解することに影響を与えます。

要約(オリジナル)

Abstract reasoning is a key ability for an intelligent system. Large language models (LMs) achieve above-chance performance on abstract reasoning tasks, but exhibit many imperfections. However, human abstract reasoning is also imperfect. For example, human reasoning is affected by our real-world knowledge and beliefs, and shows notable ‘content effects’; humans reason more reliably when the semantic content of a problem supports the correct logical inferences. These content-entangled reasoning patterns play a central role in debates about the fundamental nature of human intelligence. Here, we investigate whether language models $\unicode{x2014}$ whose prior expectations capture some aspects of human knowledge $\unicode{x2014}$ similarly mix content into their answers to logical problems. We explored this question across three logical reasoning tasks: natural language inference, judging the logical validity of syllogisms, and the Wason selection task. We evaluate state of the art large language models, as well as humans, and find that the language models reflect many of the same patterns observed in humans across these tasks $\unicode{x2014}$ like humans, models answer more accurately when the semantic content of a task supports the logical inferences. These parallels are reflected both in answer patterns, and in lower-level features like the relationship between model answer distributions and human response times. Our findings have implications for understanding both these cognitive effects in humans, and the factors that contribute to language model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google