Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models

要約

大規模言語モデル (LLM) は、ゼロショットで、つまり特定の微調整を必要とせずに、自然言語の意図を与えられた意味のあるコード スニペットを生成する優れた機能を備えています。
潜在能力を最大限に引き出すという観点から、これまでの研究では、タスク固有のデータに合わせてモデルを微調整する利点が実証されています。
ただし、微調整プロセスには多額の計算コストが必要であり、リソースが不足している場合、特に数十億のパラメータを持つモデルの場合は困難です。
これらの課題を考慮して、これまでの研究では、微調整を行わずにコンテキストに応じて適切なコードを生成する効果的な戦略として、インコンテキスト学習 (ICL) が検討されていました。
ただし、これは推論時に動作し、タスク固有のパラメーターの学習を含まないため、下流タスクでのモデルのパフォーマンスが制限される可能性があります。
これに関連して、パラメータ効率の良い微調整 (PEFT) 手法には、タスク固有のデータに LLM を効率的に特化させる高い可能性があると予測されます。
このペーパーでは、自動コード生成シナリオの下で PEFT 技術の影響を伴う LLM の包括的な研究を提供します。
私たちの実験結果は、計算負荷の軽減とパフォーマンスの向上において、さまざまな LLM 上でこのような手法が ICL よりも優れていることと可能性があることを明らかにしています。
したがって、この研究は、ソフトウェア エンジニアリング シナリオにおける PEFT のより広範な応用の機会を開きます。

要約(オリジナル)

Large Language Models (LLMs) possess impressive capabilities to generate meaningful code snippets given natural language intents in zero-shot, i.e., without the need for specific fine-tuning. In the perspective of unleashing their full potential, prior work has demonstrated the benefits of fine-tuning the models to task-specific data. However, fine-tuning process demands heavy computational costs and is intractable when resources are scarce, especially for models with billions of parameters. In light of these challenges, previous studies explored In-Context Learning (ICL) as an effective strategy to generate contextually appropriate code without fine-tuning. However, it operates at inference time and does not involve learning task-specific parameters, potentially limiting the model’s performance on downstream tasks. In this context, we foresee that Parameter-Efficient Fine-Tuning (PEFT) techniques carry a high potential for efficiently specializing LLMs to task-specific data. In this paper, we deliver a comprehensive study of LLMs with the impact of PEFT techniques under the automated code generation scenario. Our experimental results reveal the superiority and potential of such techniques over ICL on a wide range of LLMs in reducing the computational burden and improving performance. Therefore, the study opens opportunities for broader applications of PEFT in software engineering scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google