Response: Emergent analogical reasoning in large language models

要約

Nature Human Behavior の最近の論文「大規模言語モデルにおける創発的類似推論」(Webb、Holyoak、Lu、2023) の中で、著者らは「GPT-3 のような大規模言語モデルは、ゼロを見つける創発的な能力を獲得した」と主張しています。
幅広い類推問題に対する解決策を導き出しました。」
この応答では、文字列の類推の反例を提供します。
私たちのテストでは、GPT-3 は元のタスクの最も単純なバリエーションを解決できませんでしたが、人間のパフォーマンスはすべての変更されたバージョンで一貫して高いままでした。
ゼロショット推論は、並外れた証拠を必要とする並外れた主張です。
私たちの実験ではその証拠は見られません。
ゼロショット推論などの人間らしい推論の主張を強化するには、データの暗記を排除するアプローチを現場で開発することが重要です。

要約(オリジナル)

In their recent Nature Human Behaviour paper, ‘Emergent analogical reasoning in large language models,’ (Webb, Holyoak, and Lu, 2023) the authors argue that ‘large language models such as GPT-3 have acquired an emergent ability to find zero-shot solutions to a broad range of analogy problems.’ In this response, we provide counterexamples of the letter string analogies. In our tests, GPT-3 fails to solve simplest variations of the original tasks, whereas human performance remains consistently high across all modified versions. Zero-shot reasoning is an extraordinary claim that requires extraordinary evidence. We do not see that evidence in our experiments. To strengthen claims of humanlike reasoning such as zero-shot reasoning, it is important that the field develop approaches that rule out data memorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google