Large Language Models for Software Engineering: A Systematic Literature Review

要約

大規模言語モデル (LLM) は、ソフトウェア エンジニアリング (SE) を含む多数のドメインに大きな影響を与えています。
最近の出版物の多くは、さまざまな SE タスクに適用される LLM を検討しています。
それにもかかわらず、SE における LLM の適用、効果、および考えられる制限についての包括的な理解はまだ初期段階にあります。
このギャップを埋めるために、LLM をどのように活用してプロセスと結果を最適化できるかを理解することに特に焦点を当てて、LLM4SE に関する系統的な文献レビューを実施しました。
私たちは 4 つの主要な研究質問 (RQ) に答えるために、2017 年から 2023 年までの 229 件の研究論文を収集および分析しています。
RQ1 では、SE タスクで採用されているさまざまな LLM を分類し、その特有の機能と用途を特徴付けます。
RQ2 では、データ収集、前処理、アプリケーションで使用される手法を分析し、SE 向け LLM の実装を成功させるための、よく厳選されたデータセットの役割を強調します。
RQ3 は、SE における LLM のパフォーマンスを最適化および評価するために採用された戦略を調査します。
最後に、RQ4 では、LLM がこれまでに成功を収めてきた特定の SE タスクを検証し、この分野に対する LLM の実際的な貢献を示します。
これらの RQ への回答から、現在の最先端技術とトレンドについて議論し、既存の研究のギャップを特定し、将来の研究に向けて有望な分野にフラグを立てます。

要約(オリジナル)

Large Language Models (LLMs) have significantly impacted numerous domains, including Software Engineering (SE). Many recent publications have explored LLMs applied to various SE tasks. Nevertheless, a comprehensive understanding of the application, effects, and possible limitations of LLMs on SE is still in its early stages. To bridge this gap, we conducted a systematic literature review on LLM4SE, with a particular focus on understanding how LLMs can be exploited to optimize processes and outcomes. We collect and analyze 229 research papers from 2017 to 2023 to answer four key research questions (RQs). In RQ1, we categorize different LLMs that have been employed in SE tasks, characterizing their distinctive features and uses. In RQ2, we analyze the methods used in data collection, preprocessing, and application highlighting the role of well-curated datasets for successful LLM for SE implementation. RQ3 investigates the strategies employed to optimize and evaluate the performance of LLMs in SE. Finally, RQ4 examines the specific SE tasks where LLMs have shown success to date, illustrating their practical contributions to the field. From the answers to these RQs, we discuss the current state-of-the-art and trends, identifying gaps in existing research, and flagging promising areas for future study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google