Response: Emergent analogical reasoning in large language models

要約

Nature Human Behavior の最近の論文「大規模言語モデルにおける創発的類似推論」(Webb、Holyoak、Lu、2023) の中で、著者らは「GPT-3 のような大規模言語モデルは、ゼロを見つける創発的な能力を獲得した」と主張しています。
幅広い類推問題に対する解決策を導き出しました。」
この応答では、文字列の類推の反例を提供します。
私たちのテストでは、GPT-3 は元の論文で提示された問題の最も簡単な変形さえも解決できません。
ゼロショット推論は、並外れた証拠を必要とする並外れた主張です。
私たちの実験ではその証拠は見られません。
ゼロショット推論などの人間らしい推論の主張を強化するには、データの暗記を排除するアプローチを現場で開発することが重要です。

要約(オリジナル)

In their recent Nature Human Behaviour paper, ‘Emergent analogical reasoning in large language models,’ (Webb, Holyoak, and Lu, 2023) the authors argue that ‘large language models such as GPT-3 have acquired an emergent ability to find zero-shot solutions to a broad range of analogy problems.’ In this response, we provide counterexamples of the letter string analogies. In our tests, GPT-3 fails to solve even the easiest variants of the problems presented in the original paper. Zero-shot reasoning is an extraordinary claim that requires extraordinary evidence. We do not see that evidence in our experiments. To strengthen claims of humanlike reasoning such as zero-shot reasoning, it is important that the field develop approaches that rule out data memorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google