Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of Prompting Strategies

要約

大規模言語モデル (LLM) は、大規模なテキスト コーパスで取得した知識を、(あるとしても) 最小限の調整ステップで、さまざまな下流タスクで再利用できる機能のおかげで、自然言語処理の分野に革命をもたらしました。
同時に、LLM には体系的な一般化が欠けており、学習された統計的規則性をトレーニング分布の外に推定することができることが繰り返し示されています。
この研究では、2 つのパラメータで問題の難易度を制御できることを特徴とする 3 つのアルゴリズム タスクについて、利用可能な最も高度な LLM の 1 つである GPT-4 の体系的なベンチマークを提供します。
GPT-4 のパフォーマンスを、その前世代 (GPT-3.5) のパフォーマンスと、同様のタスクを解決するために最近導入された Transformer-Encoder アーキテクチャのバリアントである Neural Data Router と比較します。
高度なプロンプト技術の導入により、GPT-4 がすべてのタスクで優れた精度を達成できることがわかり、体系的な一般化が必要な困難なタスクにおいても、最先端の LLM が非常に強力なベースラインを構成することが実証されました。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized the field of Natural Language Processing thanks to their ability to reuse knowledge acquired on massive text corpora on a wide variety of downstream tasks, with minimal (if any) tuning steps. At the same time, it has been repeatedly shown that LLMs lack systematic generalization, which allows to extrapolate the learned statistical regularities outside the training distribution. In this work, we offer a systematic benchmarking of GPT-4, one of the most advanced LLMs available, on three algorithmic tasks characterized by the possibility to control the problem difficulty with two parameters. We compare the performance of GPT-4 with that of its predecessor (GPT-3.5) and with a variant of the Transformer-Encoder architecture recently introduced to solve similar tasks, the Neural Data Router. We find that the deployment of advanced prompting techniques allows GPT-4 to reach superior accuracy on all tasks, demonstrating that state-of-the-art LLMs constitute a very strong baseline also in challenging tasks that require systematic generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google