CJEval: A Benchmark for Assessing Large Language Models Using Chinese Junior High School Exam Data

要約

オンライン教育プラットフォームは、動的なデジタル インフラストラクチャを提供することで、教育リソースの普及を大きく変えました。
この変革のさらなる強化に伴い、ラージ言語モデル (LLM) の出現により、これらのプラットフォームのインテリジェンス レベルが向上しました。
ただし、現在の学術ベンチマークは、現実世界の業界シナリオに対して限定的なガイダンスを提供します。
この制限は、教育アプリケーションでは単なるテスト質問の回答以上のものを必要とするために発生します。
このギャップを埋めるために、中国の中学校試験評価に基づいたベンチマークである CJEval を紹介します。
CJEval は、10 科目をカバーする 4 つのアプリケーション レベルの教育タスクにわたる 26,136 のサンプルで構成されています。
これらのサンプルには、質問と回答だけでなく、質問の種類、難易度、知識概念、回答の説明などの詳細な注釈も含まれています。
このベンチマークを利用することで、LLM の潜在的なアプリケーションを評価し、さまざまな教育タスクを微調整することで LLM のパフォーマンスの包括的な分析を実施しました。
広範な実験と議論により、LLM を教育分野に適用する機会と課題が浮き彫りになりました。

要約(オリジナル)

Online education platforms have significantly transformed the dissemination of educational resources by providing a dynamic and digital infrastructure. With the further enhancement of this transformation, the advent of Large Language Models (LLMs) has elevated the intelligence levels of these platforms. However, current academic benchmarks provide limited guidance for real-world industry scenarios. This limitation arises because educational applications require more than mere test question responses. To bridge this gap, we introduce CJEval, a benchmark based on Chinese Junior High School Exam Evaluations. CJEval consists of 26,136 samples across four application-level educational tasks covering ten subjects. These samples include not only questions and answers but also detailed annotations such as question types, difficulty levels, knowledge concepts, and answer explanations. By utilizing this benchmark, we assessed LLMs’ potential applications and conducted a comprehensive analysis of their performance by fine-tuning on various educational tasks. Extensive experiments and discussions have highlighted the opportunities and challenges of applying LLMs in the field of education.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google