Humanity’s Last Exam

要約

ベンチマークは、大規模な言語モデル（LLM）機能の急速な進歩を追跡するための重要なツールです。
ただし、ベンチマークはPaceを困難に保ちません。LLMは、MMLUなどの一般的なベンチマークで90を超える精度を達成し、最先端のLLM機能の情報に基づいた測定値を制限しています。
これに応じて、人間の知識のフロンティアでのマルチモーダルベンチマークである人類の最後の試験（HLE）を紹介します。
HLEは、数学、人文科学、自然科学など、数十の科目にわたる2,700の質問で構成されています。
HLEは、主題の専門家によってグローバルに開発されており、自動化されたグレーディングに適した複数選択および短い回答の質問で構成されています。
それぞれの質問には、明確で簡単に検証できますが、インターネット検索では迅速に回答することはできません。
最先端のLLMは、HLEでの精度とキャリブレーションが低いことを示し、現在のLLM機能と閉鎖された学術的な質問に関する専門家の人間のフロンティアとの間に大きなギャップを強調しています。
モデル機能を明確に理解して研究と政策立案を通知するために、https：//lastexam.aiでHLEを公開しています。

要約(オリジナル)

Benchmarks are important tools for tracking the rapid advancements in large language model (LLM) capabilities. However, benchmarks are not keeping pace in difficulty: LLMs now achieve over 90\% accuracy on popular benchmarks like MMLU, limiting informed measurement of state-of-the-art LLM capabilities. In response, we introduce Humanity’s Last Exam (HLE), a multi-modal benchmark at the frontier of human knowledge, designed to be the final closed-ended academic benchmark of its kind with broad subject coverage. HLE consists of 2,700 questions across dozens of subjects, including mathematics, humanities, and the natural sciences. HLE is developed globally by subject-matter experts and consists of multiple-choice and short-answer questions suitable for automated grading. Each question has a known solution that is unambiguous and easily verifiable, but cannot be quickly answered via internet retrieval. State-of-the-art LLMs demonstrate low accuracy and calibration on HLE, highlighting a significant gap between current LLM capabilities and the expert human frontier on closed-ended academic questions. To inform research and policymaking upon a clear understanding of model capabilities, we publicly release HLE at https://lastexam.ai.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google