CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis

要約

プログラム合成は、入出力例または自然言語記述で表現された、与えられた問題仕様の解決策としてコンピューター プログラムを生成しようとします。
大規模な言語モデルの普及により、プログラム合成の最先端技術が進歩していますが、トレーニング リソースとデータが限られているため、そのようなモデルへのオープン アクセスは妨げられています。
これを民主化するために、CODEGEN と呼ばれる最大 16.1B パラメーターの大規模な言語モデルのファミリーを自然言語およびプログラミング言語データでトレーニングしてリリースし、トレーニング ライブラリー JAXFORMER をオープン ソース化します。
HumanEval でのゼロショット Python コード生成に関する以前の最先端技術と競合することを実証することにより、トレーニング済みモデルの有用性を示します。
さらに、プログラム合成のマルチステップ パラダイムを調査します。このパラダイムでは、単一のプログラムがサブ問題を指定する複数のプロンプトに分解されます。
この目的のために、オープン ベンチマークである Multi-Turn Programming Benchmark (MTPB) を構築します。これは、マルチターン プロンプトに分解された 115 の多様な問題セットで構成されます。
MTPB を分析したところ、CODEGEN に複数回の方法で提供された同じインテントが、単一のターンとして提供されたものよりもプログラム合成を大幅に改善することが示されました。
トレーニング ライブラリ JAXFORMER とモデル チェックポイントをオープン ソース コントリビューション (https://github.com/salesforce/CodeGen) として利用できるようにします。

要約(オリジナル)

Program synthesis strives to generate a computer program as a solution to a given problem specification, expressed with input-output examples or natural language descriptions. The prevalence of large language models advances the state-of-the-art for program synthesis, though limited training resources and data impede open access to such models. To democratize this, we train and release a family of large language models up to 16.1B parameters, called CODEGEN, on natural language and programming language data, and open source the training library JAXFORMER. We show the utility of the trained model by demonstrating that it is competitive with the previous state-of-the-art on zero-shot Python code generation on HumanEval. We further investigate the multi-step paradigm for program synthesis, where a single program is factorized into multiple prompts specifying subproblems. To this end, we construct an open benchmark, Multi-Turn Programming Benchmark (MTPB), consisting of 115 diverse problem sets that are factorized into multi-turn prompts. Our analysis on MTPB shows that the same intent provided to CODEGEN in multi-turn fashion significantly improves program synthesis over that provided as a single turn. We make the training library JAXFORMER and model checkpoints available as open source contribution: https://github.com/salesforce/CodeGen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google