On Leakage of Code Generation Evaluation Datasets

要約

この論文では、特に最新の大規模言語モデルでの使用におけるコード生成テスト セットによる汚染について考察します。
このような汚染の考えられる 3 つの原因について説明し、それぞれを裏付ける調査結果を示します: (i) 直接的なデータ漏洩、(ii) 合成データの使用による間接的なデータ漏洩、および (iii) モデル選択時の評価セットへのオーバーフィッティング。
私たちの調査結果の鍵となるのは、161 個のプロンプトとそれに関連する Python ソリューションの新しいデータセットであり、このデータセットは https://huggingface.co/datasets/CohereForAI/lbpp でリリースされています。

要約(オリジナル)

In this paper we consider contamination by code generation test sets, in particular in their use in modern large language models. We discuss three possible sources of such contamination and show findings supporting each of them: (i) direct data leakage, (ii) indirect data leakage through the use of synthetic data and (iii) overfitting to evaluation sets during model selection. Key to our findings is a new dataset of 161 prompts with their associated python solutions, dataset which is released at https://huggingface.co/datasets/CohereForAI/lbpp .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google