要約
人間のプログラマーがプログラミング言語を習得すると、新しいプログラミング言語を学ぶときの方が簡単になります。
このレポートでは、コードの大規模言語モデルの命令微調整段階でプログラミング言語が相互に強化できるかどうかを調査することに焦点を当てています。
StarCoder では、8 つの人気のあるプログラミング言語 (Python、JavaScript、TypeScript、C、C++、Java、Go、HTML) について広範な実験を行っています。
結果は、プログラミング言語が相互に大幅に改善できることを示しています。
たとえば、Python でトレーニングされた CodeM-Python 15B は、HumanEval-X で Java を絶対 17.95% pass@1 増加させることができます。
さらに驚くべきことに、HTML コーパスでトレーニングされた CodeM-HTML 7B は Java を絶対 15.24% 改善できることがわかりました@1。
トレーニング データは https://github.com/NL2Code/CodeM で公開されています。
要約(オリジナル)
When human programmers have mastered a programming language, it would be easier when they learn a new programming language. In this report, we focus on exploring whether programming languages can boost each other during the instruction fine-tuning phase of code large language models. We conduct extensive experiments of 8 popular programming languages (Python, JavaScript, TypeScript, C, C++, Java, Go, HTML) on StarCoder. Results demonstrate that programming languages can significantly improve each other. For example, CodeM-Python 15B trained on Python is able to increase Java by an absolute 17.95% pass@1 on HumanEval-X. More surprisingly, we found that CodeM-HTML 7B trained on the HTML corpus can improve Java by an absolute 15.24% pass@1. Our training data is released at https://github.com/NL2Code/CodeM.
arxiv情報
| 著者 | Daoguang Zan,Ailun Yu,Bo Shen,Jiaxin Zhang,Taihong Chen,Bing Geng,Bei Chen,Jichuan Ji,Yafen Yao,Yongji Wang,Qianxiang Wang |
| 発行日 | 2023-08-31 15:53:51+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google