Benchmark Data Contamination of Large Language Models: A Survey

要約

GPT-4、Claude-3、Gemini などの大規模言語モデル (LLM) の急速な発展により、自然言語処理の分野は変化しました。
ただし、ベンチマーク データ コンタミネーション (BDC) として知られる重大な問題も引き起こしています。
これは、言語モデルがトレーニング データからの評価ベンチマーク情報を誤って組み込んでしまい、プロセスの評価段階で不正確または信頼性の低いパフォーマンスが発生する場合に発生します。
このペーパーでは、LLM 評価における BDC の複雑な課題をレビューし、従来のベンチマークに関連するリスクを軽減するための代替評価方法を検討します。
また、この論文では、BDC リスクを軽減するための課題と今後の方向性についても検討し、問題の複雑さと、現実世界のアプリケーションにおける LLM 評価の信頼性を確保するための革新的なソリューションの必要性を強調しています。

要約(オリジナル)

The rapid development of Large Language Models (LLMs) like GPT-4, Claude-3, and Gemini has transformed the field of natural language processing. However, it has also resulted in a significant issue known as Benchmark Data Contamination (BDC). This occurs when language models inadvertently incorporate evaluation benchmark information from their training data, leading to inaccurate or unreliable performance during the evaluation phase of the process. This paper reviews the complex challenge of BDC in LLM evaluation and explores alternative assessment methods to mitigate the risks associated with traditional benchmarks. The paper also examines challenges and future directions in mitigating BDC risks, highlighting the complexity of the issue and the need for innovative solutions to ensure the reliability of LLM evaluation in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google