A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models

要約

合理的な行動の中心的な要素は論理的推論、つまり一連の前提からどの結論が導かれるかを決定するプロセスです。
心理学者は、人間の推論が論理の規則から逸脱するいくつかの方法を文書化しています。
人間が生成したテキストに基づいてトレーニングされた言語モデルは、これらのバイアスを再現するのでしょうか、それとも克服できるのでしょうか?
三段論法（心理学で広く研究されている 2 つの単純な前提からの推論）のケースに焦点を当て、大きなモデルの方が小さなモデルよりも論理的であり、また人間よりも論理的であることを示します。
同時に、最大のモデルでも系統的なエラーが発生し、その一部には順序付け効果や論理的誤りなどの人間の推論バイアスが反映されています。
全体として、言語モデルはトレーニング データに含まれる人間のバイアスを模倣していますが、場合によってはそれらを克服できることがわかりました。

要約(オリジナル)

A central component of rational behavior is logical inference: the process of determining which conclusions follow from a set of premises. Psychologists have documented several ways in which humans’ inferences deviate from the rules of logic. Do language models, which are trained on text generated by humans, replicate these biases, or are they able to overcome them? Focusing on the case of syllogisms — inferences from two simple premises, which have been studied extensively in psychology — we show that larger models are more logical than smaller ones, and also more logical than humans. At the same time, even the largest models make systematic errors, some of which mirror human reasoning biases such as ordering effects and logical fallacies. Overall, we find that language models mimic the human biases included in their training data, but are able to overcome them in some cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google