要約
Magicoderを紹介します。Magicoderは、完全にオープンソース（コード、重み、データ）の大規模言語モデル（LLM）であり、7B以上のパラメータを持たず、トップクラスのコードモデルとのギャップを大幅に縮めます。Magicoderモデルは、コード用の高品質な命令データを生成するために、オープンソースのコードスニペットでLLMを啓発する新しいアプローチであるOSS-Instructを使用して、75Kの合成命令データで学習されます。私たちの主な動機は、より多様で現実的かつ制御可能なデータを生成するために、豊富なオープンソースリファレンスをLLMに提供することで、LLMが生成する合成データの固有の偏りを緩和することです。OSS-InstructとEvol-Instructのような他のデータ生成手法の直交性により、さらに強化されたMagicoderSを構築することができる。MagicoderとMagicoderSの両方は、Pythonのテキストからコードへの生成、多言語コーディング、データサイエンスのプログラム補完を含む幅広いコーディングベンチマークにおいて、同程度かそれ以上のサイズを持つ最先端のコードモデルを大幅に凌駕しています。特に、CodeLlamaをベースとしたMagicoderS-CL-7Bは、HumanEval+で著名なChatGPTを凌駕しています（pass@1で66.5対65.9）。全体として、OSS-Instructは、豊富なオープンソースリファレンスを使用した低バイアスで高品質なインストラクションチューニングの新しい方向性を切り開いた。
要約(オリジナル)
We introduce Magicoder, a series of fully open-source (code, weights, and data) Large Language Models (LLMs) for code that significantly closes the gap with top code models while having no more than 7B parameters. Magicoder models are trained on 75K synthetic instruction data using OSS-Instruct, a novel approach to enlightening LLMs with open-source code snippets to generate high-quality instruction data for code. Our main motivation is to mitigate the inherent bias of the synthetic data generated by LLMs by empowering them with a wealth of open-source references for the production of more diverse, realistic, and controllable data. The orthogonality of OSS-Instruct and other data generation methods like Evol-Instruct further enables us to build an enhanced MagicoderS. Both Magicoder and MagicoderS substantially outperform state-of-the-art code models with similar or even larger sizes on a wide range of coding benchmarks, including Python text-to-code generation, multilingual coding, and data-science program completion. Notably, MagicoderS-CL-7B based on CodeLlama even surpasses the prominent ChatGPT on HumanEval+ (66.5 vs. 65.9 in pass@1). Overall, OSS-Instruct opens a new direction for low-bias and high-quality instruction tuning using abundant open-source references.
arxiv情報
| 著者 | Yuxiang Wei,Zhe Wang,Jiawei Liu,Yifeng Ding,Lingming Zhang |
| 発行日 | 2023-12-04 18:50:35+00:00 |
| arxivサイト | arxiv_id(pdf) |