A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models

要約

合理的な行動の中心的な要素は論理的推論、つまり一連の前提からどの結論が導かれるかを決定するプロセスです。
心理学者は、人間の推論が論理の規則から逸脱するいくつかの方法を文書化しています。
人間が生成したテキストに基づいてトレーニングされた言語モデルは、そのような人間の偏見を再現するのでしょうか、それとも克服できるのでしょうか?
三段論法のケース (2 つの単純な前提からの推論) に焦点を当て、トランスフォーマー言語モデルの PaLM2 ファミリ内では、大きなモデルの方が小さなモデルよりも論理的であり、また人間よりも論理的であることを示します。
同時に、最大規模のモデルでも系統的エラーが発生し、その一部は人間の推論バイアスを反映しています。三段論法における変数の（無関係な）順序に敏感で、特定の三段論法から自信を持ってはいるものの誤った推論を引き出します（三段論的誤謬）。
。
全体として、言語モデルはトレーニング データに含まれる人間のバイアスを模倣することが多いものの、場合によってはそれらを克服できることがわかりました。

要約(オリジナル)

A central component of rational behavior is logical inference: the process of determining which conclusions follow from a set of premises. Psychologists have documented several ways in which humans’ inferences deviate from the rules of logic. Do language models, which are trained on text generated by humans, replicate such human biases, or are they able to overcome them? Focusing on the case of syllogisms — inferences from two simple premises — we show that, within the PaLM2 family of transformer language models, larger models are more logical than smaller ones, and also more logical than humans. At the same time, even the largest models make systematic errors, some of which mirror human reasoning biases: they show sensitivity to the (irrelevant) ordering of the variables in the syllogism, and draw confident but incorrect inferences from particular syllogisms (syllogistic fallacies). Overall, we find that language models often mimic the human biases included in their training data, but are able to overcome them in some cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google