SantaCoder: don’t reach for the stars!

要約

BigCode プロジェクトは、コードの大規模な言語モデルの責任ある開発に取り組んでいるオープンな科学的コラボレーションです。
この技術レポートでは、2022 年 12 月までのコラボレーションの進捗状況について説明し、個人を特定できる情報 (PII) 編集パイプラインの現状、モデル アーキテクチャのリスクを軽減するために実施された実験、トレーニング データのより良い前処理方法を調査する実験について概説します。
.
The Stack の Java、JavaScript、および Python サブセットで 1.1B パラメータ モデルをトレーニングし、MultiPL-E テキストからコードへのベンチマークで評価します。
重複に近いものをより積極的にフィルタリングすると、パフォーマンスがさらに向上し、驚くべきことに、GitHub の星が 5 つ以上あるリポジトリからファイルを選択すると、パフォーマンスが大幅に低下することがわかりました。
私たちの最良のモデルは、MultiPL-E の Java、JavaScript、および Python 部分での左から右への生成と埋め込みの両方で、以前のオープンソースの多言語コード生成モデル (InCoder-6.7B および CodeGen-Multi-2.7B) よりも優れています。
かなり小さいモデルです。
すべてのモデルは、https://hf.co/bigcode で OpenRAIL ライセンスの下でリリースされています。

要約(オリジナル)

The BigCode project is an open-scientific collaboration working on the responsible development of large language models for code. This tech report describes the progress of the collaboration until December 2022, outlining the current state of the Personally Identifiable Information (PII) redaction pipeline, the experiments conducted to de-risk the model architecture, and the experiments investigating better preprocessing methods for the training data. We train 1.1B parameter models on the Java, JavaScript, and Python subsets of The Stack and evaluate them on the MultiPL-E text-to-code benchmark. We find that more aggressive filtering of near-duplicates can further boost performance and, surprisingly, that selecting files from repositories with 5+ GitHub stars deteriorates performance significantly. Our best model outperforms previous open-source multilingual code generation models (InCoder-6.7B and CodeGen-Multi-2.7B) in both left-to-right generation and infilling on the Java, JavaScript, and Python portions of MultiPL-E, despite being a substantially smaller model. All models are released under an OpenRAIL license at https://hf.co/bigcode.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google