Data Contamination Can Cross Language Barriers

要約

大規模言語モデル (LLM) の開発の不透明さにより、トレーニング前のデータに公開ベンチマークが混入する可能性についての懸念が高まっています。
既存の汚染検出方法は通常、トレーニング データと評価データの間のテキストの重複に基づいており、表面的すぎてより深い形態の汚染を反映できない場合があります。
この論文では、まず、現在の検出方法を回避しながら LLM のパフォーマンスを膨張させる、言語を超えた形式の汚染を提示します。この汚染は、ベンチマーク テスト セットの翻訳版に LLM を過剰適合させることによって意図的に注入されます。
次に、そのような深く隠された汚染を明らかにするための一般化ベースのアプローチを提案します。
具体的には、誤った回答の選択肢を他の質問の正しい選択肢に置き換えることによって元のベンチマークを変更した後の LLM のパフォーマンスの変化を調べます。
汚染されたモデルは、すべての選択が記憶において正しいため、誤った選択が \emph{間違っているわけでもない} というような簡単な状況に一般化することはほとんどできません。
実験結果は、言語を越えた汚染は既存の検出方法を簡単に欺くことができるが、私たちの検出方法はそうではないことを示しています。
さらに、LLM の動作メカニズムの解釈や、多言語能力を強化するための LLM のトレーニング後の言語間汚染の利用の可能性についても説明します。
私たちが使用するコードとデータセットは、\url{https://github.com/ShangDataLab/Deep-Contam} から入手できます。

要約(オリジナル)

The opacity in developing large language models (LLMs) is raising growing concerns about the potential contamination of public benchmarks in the pre-training data. Existing contamination detection methods are typically based on the text overlap between training and evaluation data, which can be too superficial to reflect deeper forms of contamination. In this paper, we first present a cross-lingual form of contamination that inflates LLMs’ performance while evading current detection methods, deliberately injected by overfitting LLMs on the translated versions of benchmark test sets. Then, we propose generalization-based approaches to unmask such deeply concealed contamination. Specifically, we examine the LLM’s performance change after modifying the original benchmark by replacing the false answer choices with correct ones from other questions. Contaminated models can hardly generalize to such easier situations, where the false choices can be \emph{not even wrong}, as all choices are correct in their memorization. Experimental results demonstrate that cross-lingual contamination can easily fool existing detection methods, but not ours. In addition, we discuss the potential utilization of cross-lingual contamination in interpreting LLMs’ working mechanisms and in post-training LLMs for enhanced multilingual capabilities. The code and dataset we use can be obtained from \url{https://github.com/ShangDataLab/Deep-Contam}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google