The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

要約

最近の大規模言語モデルの人気の高まりにより、それらをトレーニングするために必要な大規模なコード データセットの開発が加速しています。
このため、データ汚染に悩まされることなく、特定の動作の下流調査や大規模な言語モデルの評価に収集して使用できるコードが限られています。
この問題に対処するために、私たちは 57 のプログラミング言語をカバーする大規模な多言語データセットである The Heap をリリースします。このデータセットは、他のオープンなコード データセットと比較して重複が排除されており、研究者が重大なデータ クリーニングのオーバーヘッドを発生させることなく、大規模な言語モデルの公正な評価を行うことができます。

要約(オリジナル)

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google