CLEAN-EVAL: Clean Evaluation on Contaminated Large Language Models

要約

私たちは現在、さまざまな大規模言語モデル (LLM) 間の熾烈な競争の時代にあり、ベンチマーク パフォーマンスの限界を押し上げ続けています。
しかし、これらの LLM の機能を真に評価することは、データ汚染の可能性があるため、困難かつ重要な問題となっており、研究者やエンジニアがこれらの汚染されたモデルをダウンロードして試すことは、数十の時間と労力を無駄にしています。
貴重な時間を節約するために、データ汚染の問題を軽減し、よりクリーンな方法で LLM を評価する、新しくて便利な方法 Clean-Eval を提案します。
Clean-Eval は、LLM を使用して汚染されたデータを候補セットに言い換えおよび逆変換し、同じ意味を持つが異なる表面形式の式を生成します。
次に、セマンティック検出器を使用して生成された低品質サンプルをフィルタリングし、この候補セットを絞り込みます。
最終的に、BLEURT スコアに基づいて、このセットから最適な候補が選択されます。
人間の評価によると、この最良の候補は元の汚染データと意味的には似ていますが、表現方法が異なります。
すべての候補者は、モデルを評価するための新しいベンチマークを作成できます。
私たちの実験では、Clean-Eval が、数回の学習シナリオと微調整シナリオの両方で、汚染された LLM の実際の評価結果を実質的に復元することが示されています。

要約(オリジナル)

We are currently in an era of fierce competition among various large language models (LLMs) continuously pushing the boundaries of benchmark performance. However, genuinely assessing the capabilities of these LLMs has become a challenging and critical issue due to potential data contamination, and it wastes dozens of time and effort for researchers and engineers to download and try those contaminated models. To save our precious time, we propose a novel and useful method, Clean-Eval, which mitigates the issue of data contamination and evaluates the LLMs in a cleaner manner. Clean-Eval employs an LLM to paraphrase and back-translate the contaminated data into a candidate set, generating expressions with the same meaning but in different surface forms. A semantic detector is then used to filter the generated low-quality samples to narrow down this candidate set. The best candidate is finally selected from this set based on the BLEURT score. According to human assessment, this best candidate is semantically similar to the original contamination data but expressed differently. All candidates can form a new benchmark to evaluate the model. Our experiments illustrate that Clean-Eval substantially restores the actual evaluation results on contaminated LLMs under both few-shot learning and fine-tuning scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google