Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks

要約

非常に大規模で自動的にクロールされるコーパスで事前トレーニングされたモデルの台頭により、データ汚染が特に蔓延し、困難になっています。
クローズド モデルの場合、トレーニング データは企業秘密となり、オープン モデルの場合でも、特定のテスト インスタンスが侵害されているかどうかを確認することは簡単ではありません。
答えが隠されたライブリーダーボードや、誰にも見られないことが保証されているテストデータを使用するなどの戦略は、費用がかかり、時間の経過とともに脆弱になります。
すべての関係者がクリーンなテストデータを重視し、データ汚染を軽減するために協力すると仮定すると、何ができるでしょうか?
私たちは、違いを生む 3 つの戦略を提案します。(1) 公開されるテスト データは、公開キーで暗号化され、派生配布を禁止するライセンスが付与される必要があります。
(2) クローズド API 保有者にトレーニング除外制御を要求し、要求が満たされるまで評価を拒否することでテスト データを保護します。
(3) インターネットテキストに基づくテストデータの場合、インターネット上にそのソリューションとともに表示されるデータを避け、インターネット由来のデータのコンテキストをデータとともに公開します。
これらの戦略は実用的であり、データ汚染を防止し、モデルの機能の信頼できる評価を可能にする上で効果的です。

要約(オリジナル)

Data contamination has become especially prevalent and challenging with the rise of models pretrained on very large, automatically-crawled corpora. For closed models, the training data becomes a trade secret, and even for open models, it is not trivial to ascertain whether a particular test instance has been compromised. Strategies such as live leaderboards with hidden answers, or using test data which is guaranteed to be unseen, are expensive and become fragile with time. Assuming that all relevant actors value clean test data and will cooperate to mitigate data contamination, what can be done? We propose three strategies that can make a difference: (1) Test data made public should be encrypted with a public key and licensed to disallow derivative distribution; (2) demand training exclusion controls from closed API holders, and protect your test data by refusing to evaluate until demands are met; (3) in case of test data based on internet text, avoid data which appears with its solution on the internet, and release the context of internet-derived data along with the data. These strategies are practical and can be effective in preventing data contamination and allowing trustworthy evaluation of models’ capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google