Emergent Analogical Reasoning in Large Language Models

要約

大規模な言語モデルが最近登場したことで、十分なトレーニング データが与えられた場合に、そのような一般的なモデルで人間の認知能力が現れるかどうかについての議論が再び活発になりました。
特に興味深いのは、これらのモデルが、直接のトレーニングなしでゼロショットで新しい問題を推論できることです。
人間の認識では、この能力は類推によって推論する能力と密接に結びついています。
ここでは、人間の推論者と大規模言語モデル (GPT-3 の text-davinci-003 バリアント) との間の直接比較を、Raven のプログレッシブ マトリックスに密接にモデル化された新しいテキストベースのマトリックス推論タスクを含む、さまざまな類推タスクで実行しました。
.
GPT-3 は、ほとんどの設定で、抽象的なパターンの誘導、一致、または人間の能力を超える驚くほど強力な能力を示すことがわかりました。
私たちの結果は、GPT-3 などの大規模な言語モデルが、幅広い類推問題に対するゼロショット ソリューションを見つける新たな能力を獲得したことを示しています。

要約(オリジナル)

The recent advent of large language models has reinvigorated debate over whether human cognitive capacities might emerge in such generic models given sufficient training data. Of particular interest is the ability of these models to reason about novel problems zero-shot, without any direct training. In human cognition, this capacity is closely tied to an ability to reason by analogy. Here, we performed a direct comparison between human reasoners and a large language model (the text-davinci-003 variant of GPT-3) on a range of analogical tasks, including a novel text-based matrix reasoning task closely modeled on Raven’s Progressive Matrices. We found that GPT-3 displayed a surprisingly strong capacity for abstract pattern induction, matching or even surpassing human capabilities in most settings. Our results indicate that large language models such as GPT-3 have acquired an emergent ability to find zero-shot solutions to a broad range of analogy problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google