JaCoText: A Pretrained Model for Java Code-Text Generation

要約

事前トレーニング済みの変換器ベースのモデルは、自然言語生成タスクで高いパフォーマンスを示しています。
しかし、プログラミング言語の自動生成という新たな関心の波が押し寄せています。
このタスクは、自然言語命令をプログラミング コードに変換することで構成されます。
言語生成に関するよく知られた事前トレーニング済みモデルがプログラミング言語の学習において優れたパフォーマンスを達成しているという事実にもかかわらず、自動コード生成にはまだ努力が必要です。
この論文では、Transformers ニューラルネットワークに基づくモデルである JaCoText を紹介します。
自然言語テキストから Java ソース コードを生成することを目指しています。
JaCoText は、自然言語モデルとコード生成モデルの両方の利点を活用します。
より具体的には、最先端の調査結果を研究し、それらを使用して、(1) 強力な事前トレーニング済みモデルからモデルを初期化し、(2) Java データセットで追加の事前トレーニングを調査し、(3) ユニモーダルとバイモーダルを組み合わせた実験を実行します。
(4) モデルの微調整中に入力と出力の長さをスケーリングします。
CONCODE データセットで実施された実験は、JaCoText が新しい最先端の結果を達成することを示しています。

要約(オリジナル)

Pretrained transformer-based models have shown high performance in natural language generation task. However, a new wave of interest has surged: automatic programming language generation. This task consists of translating natural language instructions to a programming code. Despite the fact that well-known pretrained models on language generation have achieved good performance in learning programming languages, effort is still needed in automatic code generation. In this paper, we introduce JaCoText, a model based on Transformers neural network. It aims to generate java source code from natural language text. JaCoText leverages advantages of both natural language and code generation models. More specifically, we study some findings from the state of the art and use them to (1) initialize our model from powerful pretrained models, (2) explore additional pretraining on our java dataset, (3) carry out experiments combining the unimodal and bimodal data in the training, and (4) scale the input and output length during the fine-tuning of the model. Conducted experiments on CONCODE dataset show that JaCoText achieves new state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google