HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly

要約

ロングコンテキスト言語モデル (LCLM) を評価するためのベンチマークは数多くありますが、開発者は干し草の中の針 (NIAH) などの合成タスクやタスクの任意のサブセットに依存することがよくあります。
これらが LCLM の多様な下流用途に応用できるかどうかは依然として不明であり、その不一致によりモデルの比較がさらに複雑になります。
現在の慣行の背後にある根本的な理由を調査し、既存のベンチマークでは、アプリケーションのカバー範囲が狭い、長さが不十分、メトリックが信頼できない、基本モデルとの互換性がないために、ノイズの多い信号が発生することが多いことがわかりました。
この研究では、アプリケーション中心の 7 つの多様なカテゴリを網羅する包括的なベンチマークである HELMET (ロングコンテキスト モデルを効果的かつ徹底的に評価する方法) を紹介します。
また、最大 128,000 トークンまでの制御可能な長さ、信頼性の高いメトリクスのためのモデルベースの評価、ベース モデルを堅牢に評価するための少数ショット プロンプトを追加することで、以前のベンチマークの多くの問題にも対処しました。
その結果、HELMET がフロンティア LCLM のより信頼性が高く一貫したランキングを提供することを実証しました。
51 の LCLM の包括的な調査を通じて、(1) NIAH のような合成タスクは下流のパフォーマンスの適切な予測材料ではないことがわかりました。
(2) HELMET の多様なカテゴリは明確な傾向を示し、相互に低い相関関係を示します。
(3) ほとんどの LCLM は完璧な NIAH スコアを達成していますが、タスクがフルコンテキストの推論や複雑な命令に従う必要がある場合、オープンソース モデルはクローズド モデルに比べて大幅に遅れをとっており、長さが長くなるほどその差は拡大します。
最後に、RAG タスクは実行が簡単で、他のダウンストリーム パフォーマンスをより予測できるため、高速モデル開発には RAG タスクを使用することをお勧めします。
最終的には、さまざまなタスクにわたる総合的な評価を提唱します。

要約(オリジナル)

There have been many benchmarks for evaluating long-context language models (LCLMs), but developers often rely on synthetic tasks like needle-in-a-haystack (NIAH) or arbitrary subsets of tasks. It remains unclear whether they translate to the diverse downstream applications of LCLMs, and the inconsistency further complicates model comparison. We investigate the underlying reasons behind current practices and find that existing benchmarks often provide noisy signals due to low coverage of applications, insufficient lengths, unreliable metrics, and incompatibility with base models. In this work, we present HELMET (How to Evaluate Long-context Models Effectively and Thoroughly), a comprehensive benchmark encompassing seven diverse, application-centric categories. We also address many issues in previous benchmarks by adding controllable lengths up to 128k tokens, model-based evaluation for reliable metrics, and few-shot prompting for robustly evaluating base models. Consequently, we demonstrate that HELMET offers more reliable and consistent rankings of frontier LCLMs. Through a comprehensive study of 51 LCLMs, we find that (1) synthetic tasks like NIAH are not good predictors of downstream performance; (2) the diverse categories in HELMET exhibit distinct trends and low correlation with each other; and (3) while most LCLMs achieve perfect NIAH scores, open-source models significantly lag behind closed ones when the task requires full-context reasoning or following complex instructions — the gap widens with increased lengths. Finally, we recommend using our RAG tasks for fast model development, as they are easy to run and more predictive of other downstream performance; ultimately, we advocate for a holistic evaluation across diverse tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google