OctoPack: Instruction Tuning Code Large Language Models

要約

命令に関する大規模言語モデル (LLM) を微調整すると、自然言語タスクのパフォーマンスが大幅に向上します。
コード変更と人間の指示を組み合わせる Git コミットの自然な構造を利用して、コードを使用した指示チューニングを適用します。
CommitPack をコンパイルします。350 のプログラミング言語にわたる 4 テラバイトの Git コミットです。
16B パラメーター StarCoder モデルで他の自然および合成コード命令 (xP3x、Self-Instruct、OASST) に対して CommitPack をベンチマークし、HumanEval Python ベンチマーク (
46.2% 合格@1)。
さらに HumanEvalPack を導入し、HumanEval ベンチマークを 6 つの言語 (Python、JavaScript、Java、Go、C++、Rust) にわたる合計 3 つのコーディング タスク (コード修復、コード説明、コード合成) に拡張します。
当社のモデルである OctoCoder と OctoGeeX は、すべての寛容モデルの中で HumanEvalPack 全体で最高のパフォーマンスを達成しており、より広範な言語セットと自然なコーディング タスクに一般化できる CommitPack の利点を実証しています。
コード、モデル、データは https://github.com/bigcode-project/octopack から自由に入手できます。

要約(オリジナル)

Finetuning large language models (LLMs) on instructions leads to vast performance improvements on natural language tasks. We apply instruction tuning using code, leveraging the natural structure of Git commits, which pair code changes with human instructions. We compile CommitPack: 4 terabytes of Git commits across 350 programming languages. We benchmark CommitPack against other natural and synthetic code instructions (xP3x, Self-Instruct, OASST) on the 16B parameter StarCoder model, and achieve state-of-the-art performance among models not trained on OpenAI outputs, on the HumanEval Python benchmark (46.2% pass@1). We further introduce HumanEvalPack, expanding the HumanEval benchmark to a total of 3 coding tasks (Code Repair, Code Explanation, Code Synthesis) across 6 languages (Python, JavaScript, Java, Go, C++, Rust). Our models, OctoCoder and OctoGeeX, achieve the best performance across HumanEvalPack among all permissive models, demonstrating CommitPack’s benefits in generalizing to a wider set of languages and natural coding tasks. Code, models and data are freely available at https://github.com/bigcode-project/octopack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google