One Adapter for All Programming Languages? Adapter Tuning for Code Search and Summarization

要約

事前トレーニング済みのモデルが多くのコード インテリジェンス タスクを自動化するため、広く使用されているパラダイムは、各プログラミング言語のタスク データセットでモデルを微調整することです。
最近の研究では、多言語の微調整がさまざまなタスクとモデルにメリットをもたらすことが報告されています。
ただし、最近のモデル UniXcoder および CodeT5 では、多言語の微調整がパフォーマンスの低下につながることがわかりました。
多言語モデルで致命的な忘却の問題が発生する可能性を軽減するために、事前にトレーニングされたすべてのモデル パラメーターを修正し、パラメーター効率の高い構造アダプターを挿入して微調整します。
各プログラミング言語の完全なモデルの微調整と比較して、全体のパラメーターの 0.6\% のみを更新するアダプターの調整により、コード検索と要約タスクが一貫して改善され、最先端の結果が得られます。
さらに、クロスリンガルおよびリソースの少ないシナリオでの有効性を実験的に示しています。
プログラミング言語ごとに 200 サンプルを使用した多言語微調整は、コードの要約に関するデータセット全体で微調整された結果に近づきます。
3 つのプロービング タスクに関する私たちの実験では、アダプターの調整が完全なモデルの微調整よりも大幅に優れており、壊滅的な忘却を効果的に克服することが示されています。

要約(オリジナル)

As pre-trained models automate many code intelligence tasks, a widely used paradigm is to fine-tune a model on the task dataset for each programming language. A recent study reported that multilingual fine-tuning benefits a range of tasks and models. However, we find that multilingual fine-tuning leads to performance degradation on recent models UniXcoder and CodeT5. To alleviate the potentially catastrophic forgetting issue in multilingual models, we fix all pre-trained model parameters, insert the parameter-efficient structure adapter, and fine-tune it. Updating only 0.6\% of the overall parameters compared to full-model fine-tuning for each programming language, adapter tuning yields consistent improvements on code search and summarization tasks, achieving state-of-the-art results. In addition, we experimentally show its effectiveness in cross-lingual and low-resource scenarios. Multilingual fine-tuning with 200 samples per programming language approaches the results fine-tuned with the entire dataset on code summarization. Our experiments on three probing tasks show that adapter tuning significantly outperforms full-model fine-tuning and effectively overcomes catastrophic forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google