Revitalizing Saturated Benchmarks: A Weighted Metric Approach for Differentiating Large Language Model Performance

要約

既存のベンチマークは飽和状態になり、データの汚染やLLM機能の進歩などの要因により、モデルのパフォーマンスを分離するのに苦労しています。
このペーパーでは、モデルの分離を強化することでベンチマークを活性化する新規加重メトリックであるEMDM（強化されたモデル分化メトリック）を紹介します。
EMDMは、最終的な回答と考え方（COT）の推論の正しさを統合し、評価データの特定のサンプルを解決するために必要な複雑さと推論の深さに基づいて重みを割り当てます。
2つのセットアップでベースラインLLMを使用すると、モデルがテストサンプルに事前に曝露していないため、モデルが目的のAnswer-EMDMの事前知識を持っている場合、さまざまな難易度のインスタンスを区別します。
これらのセットアップからのCOTと回答の正確性は、体重割り当ての最適化目標を提供し、モデルパフォーマンスのより微妙な評価をもたらします。
ARC-Challengeで17％の分離を達成する正確な一致（EM）メトリックと比較して、EMDMは46％を達成し、推論と知識の要件に基づいてモデルの差別化における有効性を示しています。

要約(オリジナル)

Existing benchmarks are becoming saturated and struggle to separate model performances due to factors like data contamination and advancing LLM capabilities. This paper introduces EMDM (Enhanced Model Differentiation Metric), a novel weighted metric that revitalizes benchmarks by enhancing model separation. EMDM integrates final answer and Chain-of-Thought (CoT) reasoning correctness, assigning weights based on the complexity and reasoning depth required to solve a given sample in the evaluation data. Using a baseline LLM in two setups-Unguided, where the model has no prior exposure to test samples, and Guided, where the model has prior knowledge of the desired answer-EMDM distinguishes instances of varying difficulty. The CoT and answer correctness from these setups inform an optimization objective for weight assignment, resulting in a more nuanced evaluation of model performance. Compared to the exact match (EM) metric, which achieves 17% separation on ARC-Challenge, EMDM achieves 46%, demonstrating its effectiveness in differentiating models based on reasoning and knowledge requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google