On Leakage of Code Generation Evaluation Datasets

要約

本論文では、コード生成テストセットによる汚染、特に最新の大規模言語モデルでの使用について考察する。(i)直接的なデータ漏洩、(ii)合成データの使用による間接的なデータ漏洩、(iii)モデル選択時の評価セットへのオーバーフィット。これに対処するために、私たちはLess Basic Python Problems (LBPP)をリリースします。LBPPは、161のプロンプトとそれに関連するPythonの解答からなる、汚染されていない新しいベンチマークです。LBPPはhttps://huggingface.co/datasets/CohereForAI/lbpp。

要約(オリジナル)

In this paper, we consider contamination by code generation test sets, in particular in their use in modern large language models. We discuss three possible sources of such contamination and show findings supporting each of them: (i) direct data leakage, (ii) indirect data leakage through the use of synthetic data and (iii) overfitting to evaluation sets during model selection. To address this, we release Less Basic Python Problems (LBPP): an uncontaminated new benchmark of 161 prompts with their associated Python solutions. LBPP is released at https://huggingface.co/datasets/CohereForAI/lbpp .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL