C$^2$LEVA: Toward Comprehensive and Contamination-Free Language Model Evaluation

要約

大規模言語モデル (LLM) の最近の進歩には大きな期待が寄せられていますが、その評価では、特に独自のトレーニング データにアクセスできないことによるデータ汚染に関する懸念が生じています。
この問題に対処するために、体系的な汚染防止を特徴とする包括的なバイリンガル ベンチマークである C$^2$LEVA を紹介します。
C$^2$LEVA は、まず、LLM の特定の用途や能力を対象とした 22 のタスクを含む総合的な評価を提供します。次に、テスト データを完全に自動化する体系的な汚染防止戦略によって保証された、汚染のないタスクによる信頼できる評価を提供します。
更新し、ベンチマーク データのリリース中にデータ保護を強化します。
15 のオープンソースおよび独自モデルの大規模評価により、C$^2$LEVA の有効性が実証されました。

要約(オリジナル)

Recent advances in large language models (LLMs) have shown significant promise, yet their evaluation raises concerns, particularly regarding data contamination due to the lack of access to proprietary training data. To address this issue, we present C$^2$LEVA, a comprehensive bilingual benchmark featuring systematic contamination prevention. C$^2$LEVA firstly offers a holistic evaluation encompassing 22 tasks, each targeting a specific application or ability of LLMs, and secondly a trustworthy assessment due to our contamination-free tasks, ensured by a systematic contamination prevention strategy that fully automates test data renewal and enforces data protection during benchmark data release. Our large-scale evaluation of 15 open-source and proprietary models demonstrates the effectiveness of C$^2$LEVA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google