Xiezhi: An Ever-Updating Benchmark for Holistic Domain Knowledge Evaluation

要約

大規模言語モデル (LLM) の急速な開発に合わせて、新しい Natural Language Process~(NLP) ベンチマークが緊急に必要とされています。
総合的なドメイン知識を評価するために設計された最も包括的な評価スイートである Xiezhi を紹介します。
Xiezhi は、13 の異なる科目からなる 516 の多様な分野にわたる多肢選択問題と 249,587 問で構成されており、Xezhi-Specialty および Xiezhi-Interdiscipline (両方とも 15,000 問) が付属しています。
Xiezhi上の47の最先端LLMの評価を実施します。
結果は、LLM は科学、工学、農学、医学、芸術では人間の平均的な成績を上回っていますが、経済学、法学、教育学、文学、歴史、経営では及ばないことを示しています。
Xiezhi は LLM の重要な長所と欠点の分析に役立つと予想されており、ベンチマークは~\url{https://github.com/MikeGu721/XiezhiBenchmark} でリリースされます。

要約(オリジナル)

New Natural Langauge Process~(NLP) benchmarks are urgently needed to align with the rapid development of large language models (LLMs). We present Xiezhi, the most comprehensive evaluation suite designed to assess holistic domain knowledge. Xiezhi comprises multiple-choice questions across 516 diverse disciplines ranging from 13 different subjects with 249,587 questions and accompanied by Xiezhi-Specialty and Xiezhi-Interdiscipline, both with 15k questions. We conduct evaluation of the 47 cutting-edge LLMs on Xiezhi. Results indicate that LLMs exceed average performance of humans in science, engineering, agronomy, medicine, and art, but fall short in economics, jurisprudence, pedagogy, literature, history, and management. We anticipate Xiezhi will help analyze important strengths and shortcomings of LLMs, and the benchmark is released in~\url{https://github.com/MikeGu721/XiezhiBenchmark}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google