LLaMA-Reviewer: Advancing Code Review Automation with Large Language Models through Parameter-Efficient Fine-Tuning (Practical Experience Report)

要約

ソフトウェア エンジニアリングにおける長年の追求であるコード レビュー活動の自動化は、主にドメイン固有の事前トレーニングされた多数のモデルによって対処されてきました。
これらのモデルは成功したにもかかわらず、ゼロからの事前トレーニングに多大なリソースを必要とすることがよくあります。
対照的に、ラージ言語モデル (LLM) は、ドメイン固有の知識を追加すると優れた機能を発揮するため、興味深い代替手段を提供します。
ただし、コード レビュー タスクを自動化する可能性はほとんど解明されていません。
この研究ギャップに応えて、コード レビューの分野で人気のある LLM である LLaMA の機能を活用する革新的なフレームワークである LLaMA-Reviewer を紹介します。
リソースの制約を考慮して、このフレームワークはパラメーター効率の良い微調整 (PEFT) 手法を採用しており、トレーニング可能なパラメーターの 1% 未満を使用しながら高いパフォーマンスを実現します。
LLaMA-Reviewer の広範な評価は、公開されている 2 つの多様なデータセットに対して行われます。
特に、6.7B パラメータと限られた数のチューニング エポックで構成される最小の LLaMA 基本モデルであっても、LLaMA-Reviewer は既存のコード レビューに重点を置いたモデルのパフォーマンスと同等です。
アブレーション実験により、入力表現、命令調整、さまざまな PEFT メソッドなど、さまざまな微調整プロセス コンポーネントの影響についての洞察が得られます。
この分野での継続的な進歩を促進するために、コードとすべての PEFT-weight プラグインがオープンソースになりました。

要約(オリジナル)

The automation of code review activities, a long-standing pursuit in software engineering, has been primarily addressed by numerous domain-specific pre-trained models. Despite their success, these models frequently demand extensive resources for pre-training from scratch. In contrast, Large Language Models (LLMs) provide an intriguing alternative, given their remarkable capabilities when supplemented with domain-specific knowledge. However, their potential for automating code review tasks remains largely unexplored. In response to this research gap, we present LLaMA-Reviewer, an innovative framework that leverages the capabilities of LLaMA, a popular LLM, in the realm of code review. Mindful of resource constraints, this framework employs parameter-efficient fine-tuning (PEFT) methods, delivering high performance while using less than 1% of trainable parameters. An extensive evaluation of LLaMA-Reviewer is conducted on two diverse, publicly available datasets. Notably, even with the smallest LLaMA base model consisting of 6.7B parameters and a limited number of tuning epochs, LLaMA-Reviewer equals the performance of existing code-review-focused models. The ablation experiments provide insights into the influence of various fine-tuning process components, including input representation, instruction tuning, and different PEFT methods. To foster continuous progress in this field, the code and all PEFT-weight plugins have been made open-source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google