metabench — A Sparse Benchmark of Reasoning and Knowledge in Large Language Models

要約

大規模な言語モデル（LLMS）は、さまざまなタスクの能力が異なります。
Open LLMリーダーボードなどのイニシアチブは、いくつかの大きなベンチマーク（LLMが正しくまたは誤って応答できるテスト項目のセット）でこれらの違いを定量化することを目的としています。
ただし、ベンチマークスコア内およびベンチマークスコア間の高い相関関係は、（1）これらのベンチマークが測定する一般的な基礎能力の小さなセットが存在することを示唆しています。
N> 5000 LLMSのデータを使用して、6つのベンチマーク、ARC、GSM8K、Hellaswag、MMLU、Truthfulqa、およびWinograndeの最も有益なアイテムを識別します（D = 28,632アイテムの合計）。
それらから、6つのベンチマークすべての元のサイズの3％未満のスパースベンチマークであるメタベンチを蒸留します。
この新しいスパースベンチマークは、基礎となるベンチマーク固有の能力の推定器を生成することにより、ポイントスコアを超えています。
これらの推定量（1）を使用して、各元の個々のベンチマークスコアを平均して1.24％のルート平均誤差（RMSE）で再構築できることを示します。
合計スコアとスピアマンの相関がr = 0.94である単一の根本的な共通要因を持っています。

要約(オリジナル)

Large Language Models (LLMs) vary in their abilities on a range of tasks. Initiatives such as the Open LLM Leaderboard aim to quantify these differences with several large benchmarks (sets of test items to which an LLM can respond either correctly or incorrectly). However, high correlations within and between benchmark scores suggest that (1) there exists a small set of common underlying abilities that these benchmarks measure, and (2) items tap into redundant information and the benchmarks may thus be considerably compressed. We use data from n > 5000 LLMs to identify the most informative items of six benchmarks, ARC, GSM8K, HellaSwag, MMLU, TruthfulQA and WinoGrande (with d = 28,632 items in total). From them we distill a sparse benchmark, metabench, that has less than 3% of the original size of all six benchmarks combined. This new sparse benchmark goes beyond point scores by yielding estimators of the underlying benchmark-specific abilities. We show that these estimators (1) can be used to reconstruct each original individual benchmark score with, on average, 1.24% root mean square error (RMSE), (2) reconstruct the original total score with 0.58% RMSE, and (3) have a single underlying common factor whose Spearman correlation with the total score is r = 0.94.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google