要約
ChatGPTのような大規模言語モデル(LLM)の開発は、最近注目を集めている。しかし、このモデルが生成する生成出力をグランドトゥルースに対して評価することが困難であるため、ベンチマークとなる学術データセットにおける評価はまだ十分に行われていない。本論文では、質問応答、テキスト要約、コード生成、常識的推論、数学的問題解決、機械翻訳、バイアス検出、倫理的考察などのタスクをカバーする多様な学術データセットにおけるChatGPTの性能を徹底的に評価することを目指す。具体的には、140のタスクでChatGPTを評価し、これらのデータセットで生成された255Kの応答を分析しました。これにより、我々の研究は、NLPベンチマークにおけるChatGPTの最大の評価となる。つまり、本研究の目的は、様々なタスクにおけるChatGPTの長所と短所を検証し、LLMを用いた将来の研究に対する洞察を提供することにあります。また、ChatGPTや他の命令チューニングモデルでほとんど見られた、マルチクエリ命令に従う新しい出現能力も報告します。我々の広範な評価により、ChatGPTが様々なタスクを実行することができ、いくつかのベンチマークデータセットで印象的な性能を得ることができるとしても、多くの困難なタスクを確実に解決する能力を達成するにはまだ程遠いことがわかった。本論文は、多様なNLPタスクにおけるChatGPTの性能を徹底的に評価することで、ChatGPTに似たLLMを実世界のアプリケーションに導入するための舞台を提供します。
要約(オリジナル)
The development of large language models (LLMs) such as ChatGPT has brought a lot of attention recently. However, their evaluation in the benchmark academic datasets remains under-explored due to the difficulty of evaluating the generative outputs produced by this model against the ground truth. In this paper, we aim to present a thorough evaluation of ChatGPT’s performance on diverse academic datasets, covering tasks like question-answering, text summarization, code generation, commonsense reasoning, mathematical problem-solving, machine translation, bias detection, and ethical considerations. Specifically, we evaluate ChatGPT across 140 tasks and analyze 255K responses it generates in these datasets. This makes our work the largest evaluation of ChatGPT in NLP benchmarks. In short, our study aims to validate the strengths and weaknesses of ChatGPT in various tasks and provide insights for future research using LLMs. We also report a new emergent ability to follow multi-query instructions that we mostly found in ChatGPT and other instruction-tuned models. Our extensive evaluation shows that even though ChatGPT is capable of performing a wide variety of tasks, and may obtain impressive performance in several benchmark datasets, it is still far from achieving the ability to reliably solve many challenging tasks. By providing a thorough assessment of ChatGPT’s performance across diverse NLP tasks, this paper sets the stage for a targeted deployment of ChatGPT-like LLMs in real-world applications.
arxiv情報
| 著者 | Md Tahmid Rahman Laskar,M Saiful Bari,Mizanur Rahman,Md Amran Hossen Bhuiyan,Shafiq Joty,Jimmy Xiangji Huang |
| 発行日 | 2023-06-05 16:21:40+00:00 |
| arxivサイト | arxiv_id(pdf) |