SoTaNa: The Open-Source Software Development Assistant

要約

ソフトウェア開発は、現代社会全体でイノベーションと効率性を推進する上で重要な役割を果たしています。
このダイナミックな分野の需要を満たすために、効果的なソフトウェア開発アシスタントの必要性が高まっています。
ただし、ChatGPT に代表される既存の大規模言語モデルは、トレーニング データやモデルの重みなどのアクセスが制限されています。
LLaMA のような他の大規模なオープンソース モデルは有望性を示していますが、依然として人間の意図を理解するのに苦労しています。
本稿では、オープンソース ソフトウェア開発アシスタントである SoTaNa について紹介します。
SoTaNa は ChatGPT を利用してソフトウェア エンジニアリングの分野向けの高品質な命令ベースのデータを生成し、パラメーター効率の高い微調整アプローチを採用してオープンソースの基盤モデルである LLaMA を強化します。
私たちは、スタック オーバーフローの質問に答える際の \our{} の有効性を評価し、その機能を実証します。
さらに、コードの要約と生成におけるその機能、および生成されるデータの量の変化がモデルのパフォーマンスに及ぼす影響についても説明します。
特に、SoTaNa は単一の GPU 上で実行できるため、より幅広い研究者が利用できるようになります。
私たちのコード、モデルの重み、データは \url{https://github.com/DeepSoftwareAnalytics/SoTaNa} で公開されています。

要約(オリジナル)

Software development plays a crucial role in driving innovation and efficiency across modern societies. To meet the demands of this dynamic field, there is a growing need for an effective software development assistant. However, existing large language models represented by ChatGPT suffer from limited accessibility, including training data and model weights. Although other large open-source models like LLaMA have shown promise, they still struggle with understanding human intent. In this paper, we present SoTaNa, an open-source software development assistant. SoTaNa utilizes ChatGPT to generate high-quality instruction-based data for the domain of software engineering and employs a parameter-efficient fine-tuning approach to enhance the open-source foundation model, LLaMA. We evaluate the effectiveness of \our{} in answering Stack Overflow questions and demonstrate its capabilities. Additionally, we discuss its capabilities in code summarization and generation, as well as the impact of varying the volume of generated data on model performance. Notably, SoTaNa can run on a single GPU, making it accessible to a broader range of researchers. Our code, model weights, and data are public at \url{https://github.com/DeepSoftwareAnalytics/SoTaNa}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google