要約
GPT-4 は 2023 年 3 月にリリースされ、広く称賛されました。GPT-3.5 (ChatGPT の初期リリースを強化していた OpenAI の以前の最高のモデル) に比べて全体的に非常に大幅な改善が見られました。
しかし、本当に目覚ましい改善にもかかわらず、GPT-4 の推論能力に非常に懐疑的になる十分な理由があります。
この意見書では推論の性質について議論します。
NLP コミュニティにおける現在の推論問題の定式化と、LLM 推論のパフォーマンスが現在評価されている方法を批判します。
21 個の多様な推論問題を集めた小さなコレクションを紹介します。
そして、それらの問題に対する GPT-4 のパフォーマンスの詳細な定性評価を実行します。
この分析に基づいて、論文は、GPT-4 は時折優れた分析力を発揮するものの、現時点ではまったく推論する能力がないと結論付けています。
要約(オリジナル)
GPT-4 was released in March 2023 to wide acclaim, marking a very substantial improvement across the board over GPT-3.5 (OpenAI’s previously best model, which had powered the initial release of ChatGPT). However, despite the genuinely impressive improvement, there are good reasons to be highly skeptical of GPT-4’s ability to reason. This position paper discusses the nature of reasoning; criticizes the current formulation of reasoning problems in the NLP community, as well as the way in which LLM reasoning performance is currently evaluated; introduces a small collection of 21 diverse reasoning problems; and performs a detailed qualitative evaluation of GPT-4’s performance on those problems. Based on this analysis, the paper concludes that, despite its occasional flashes of analytical brilliance, GPT-4 at present is utterly incapable of reasoning.
arxiv情報
| 著者 | Konstantine Arkoudas |
| 発行日 | 2023-08-10 14:24:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google