Exploring Continual Learning for Code Generation Models

要約

Codex や CodeT5 などの大規模なコード生成モデルは、優れたパフォーマンスを達成しています。
ただし、ライブラリは頻繁にアップグレードまたは非推奨になり、大規模な言語モデルの再トレーニングには計算コストがかかります。
したがって、継続学習 (CL) は、コード ドメインではまだ十分に研究されていない重要な側面です。
このペーパーでは、さまざまな入力および出力プログラミング言語を使用して、コード生成、翻訳、要約、改良などの幅広いタスクをカバーする CodeTask-CL と呼ばれるベンチマークを紹介します。
次に、CodeTask-CL ベンチマークで、NLP ドメインと Vision ドメインの一般的な CL テクニックを比較します。
プロンプト プーリング (PP) のような効果的な手法は、コーディング タスクの急激な分布の変化によって引き起こされるプロンプト選択メカニズムのトレーニングが不安定であるため、壊滅的な忘却に悩まされることがわかりました。
私たちは、プロンプト選択メカニズムに制約を課すことでトレーニングを安定化し、プロンプト プーリングと比較して 21.54% の改善につながる、私たちが提案した手法である教師強制付きプロンプト プーリング (PP-TF) でこの問題に対処しました。
ベンチマークとともに、コード モデルの CL に使用できるトレーニング パイプラインを確立します。これにより、コード モデルの CL メソッドのさらなる開発が促進されると考えられます。
私たちのコードは https://github.com/amazon-science/codetaskcl-pptf で入手できます。

要約(オリジナル)

Large-scale code generation models such as Codex and CodeT5 have achieved impressive performance. However, libraries are upgraded or deprecated very frequently and re-training large-scale language models is computationally expensive. Therefore, Continual Learning (CL) is an important aspect that remains underexplored in the code domain. In this paper, we introduce a benchmark called CodeTask-CL that covers a wide range of tasks, including code generation, translation, summarization, and refinement, with different input and output programming languages. Next, on our CodeTask-CL benchmark, we compare popular CL techniques from NLP and Vision domains. We find that effective methods like Prompt Pooling (PP) suffer from catastrophic forgetting due to the unstable training of the prompt selection mechanism caused by stark distribution shifts in coding tasks. We address this issue with our proposed method, Prompt Pooling with Teacher Forcing (PP-TF), that stabilizes training by enforcing constraints on the prompt selection mechanism and leads to a 21.54% improvement over Prompt Pooling. Along with the benchmark, we establish a training pipeline that can be used for CL on code models, which we believe can motivate further development of CL methods for code models. Our code is available at https://github.com/amazon-science/codetaskcl-pptf

arxiv情報

提供元, 利用サービス

arxiv.jp, Google