Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R

要約

パラメーター効率的な微調整（PEFT）メソッドは、高いトレーニングコストを最小限に抑えるための大規模な言語モデル（LLM）の代替微調整アプローチとして提案されています。
以前の研究では、小規模な言語モデルを使用した知識転送におけるPEFTメソッドの有効性を実証していますが、特にRなどの低リソースや目に見えないプログラミング言語でのより大きなLLMへのアプリケーションは、依然として推奨されていません。
この作業では、コードの要約と生成のために、PEFTメソッド、LORA、Compacter、およびIA^3をLLMSで評価し、特に目に見えない未調査のターゲット言語としてRへの知識移転に重点を置いています。
私たちの実験では、LORAはすべての設定でコンパクターとIA^3を常に上回ることが明らかになり、コンパクターはパフォーマンスのトレードオフを最小限に抑えて大幅なリソース効率を提供します。
さらに、トレーニング可能なパラメーターの数は、PEFTアーキテクチャよりも生成されたコードの機能精度に大きな影響を与えることがわかります。
私たちの研究は、特に計算コストとパフォーマンスのバランスをとる場合、知識転送のためのPEFTメソッドの選択と同様に、Rを含む目に見えない言語のコードインテリジェントなタスクの開発に関する将来の研究を指示することができます。

要約(オリジナル)

Parameter Efficient Fine-Tuning (PEFT) methods are proposed as an alternative fine-tuning approach for Large Language Models (LLM) to minimize high training costs. While prior research demonstrates the effectiveness of PEFT methods in knowledge transfer using smaller language models, their application to larger LLMs, particularly in low-resource and unseen programming languages such as R, remains under-explored. In this work, we evaluate PEFT methods, LoRA, Compacter, and IA^3 on LLMs for code summarization and generation, with a particular emphasis on knowledge transfer to R as an unseen under-explored target language. Our experiments reveal that LoRA consistently outperforms Compacter and IA^3 in all settings, while Compacter offers significant resource efficiency with minimal performance trade-offs. Additionally, we find that the number of trainable parameters has a greater influence on the functional accuracy of the generated code than PEFT architecture. Our study can direct future research in developing code intelligent tasks for unseen languages including R, as well as the choice of PEFT methods for knowledge transfer, especially when balancing the computational cost and performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google