Humans in Humans Out: On GPT Converging Toward Common Sense in both Success and Failure

要約

計算規模の拡大と微調整により、GPT のような大規模言語モデル (LLM) の出力の品質が劇的に向上しました。
GPT-3 と GPT-4 の両方が人間が生成した大量のテキストでトレーニングされていることを考えると、正しいケースと正しくないケースの両方で、それらの出力が人間の思考パターンをどの程度反映しているかを尋ねることができます。
Erotetic Theory of Reason (ETR) は、人間の思考における成功と失敗の両方の象徴的な生成モデルを、命題、定量化、確率論的推論、および意思決定にわたって提供します。
GPT-3、GPT-3.5、および GPT-4 を、ETR の最近の本の長さのプレゼンテーションからの 61 の中心的な推論および判断の問題とともに提示しました。
正しい推論パターンだけでなく、誤謬やフレーミング効果 (ETR61 ベンチマーク) も備えています。
ETR61 には、とりわけ、Wason のカード タスク、幻想的な推論、おとり効果、機会費用無視などの古典が含まれています。
GPT-3 は、これらの例の 59% で ETR 予測出力の証拠を示し、GPT-3.5 では 77%、GPT-4 では 75% に上昇しました。
驚くべきことに、人間のような誤った判断の生成は、GPT-3 の 18% から、GPT-3.5 の 33%、GPT-4 の 34% に増加しました。
これは、関連する思考パターンが人間が作成したトレーニング データに固有であるため、より大規模で高度な LLM がより人間的な間違いに向かう傾向を発達させる可能性があることを示唆しています。
ETR によると、通常の推論の成功と失敗の両方に同じ基本パターンが含まれているため、逆説的に「悪い」ケースが「良い」ケースから学習される可能性があります。
さらに、ETR に触発された迅速なエンジニアリングがこれらのミスのインスタンスを減らすことができるという予備的な証拠を提示します。

要約(オリジナル)

Increase in computational scale and fine-tuning has seen a dramatic improvement in the quality of outputs of large language models (LLMs) like GPT. Given that both GPT-3 and GPT-4 were trained on large quantities of human-generated text, we might ask to what extent their outputs reflect patterns of human thinking, both for correct and incorrect cases. The Erotetic Theory of Reason (ETR) provides a symbolic generative model of both human success and failure in thinking, across propositional, quantified, and probabilistic reasoning, as well as decision-making. We presented GPT-3, GPT-3.5, and GPT-4 with 61 central inference and judgment problems from a recent book-length presentation of ETR, consisting of experimentally verified data-points on human judgment and extrapolated data-points predicted by ETR, with correct inference patterns as well as fallacies and framing effects (the ETR61 benchmark). ETR61 includes classics like Wason’s card task, illusory inferences, the decoy effect, and opportunity-cost neglect, among others. GPT-3 showed evidence of ETR-predicted outputs for 59% of these examples, rising to 77% in GPT-3.5 and 75% in GPT-4. Remarkably, the production of human-like fallacious judgments increased from 18% in GPT-3 to 33% in GPT-3.5 and 34% in GPT-4. This suggests that larger and more advanced LLMs may develop a tendency toward more human-like mistakes, as relevant thought patterns are inherent in human-produced training data. According to ETR, the same fundamental patterns are involved both in successful and unsuccessful ordinary reasoning, so that the ‘bad’ cases could paradoxically be learned from the ‘good’ cases. We further present preliminary evidence that ETR-inspired prompt engineering could reduce instances of these mistakes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google