Large Language Models for Software Engineering: A Systematic Literature Review

要約

大規模言語モデル (LLM) は、特にソフトウェア エンジニアリング (SE) を含む多数のドメインに大きな影響を与えています。
それにもかかわらず、SE 内での LLM の適用、効果、および考えられる制限についての包括的な理解はまだ初期段階にあります。
このギャップを埋めるために、私たちの系統的な文献レビューでは、プロセスと結果を最適化するために SE で LLM をどのように活用できるかを理解することに特に重点を置き、LLM と SE の交差点を深く掘り下げています。
包括的なレビューアプローチを通じて、2017 年から 2023 年までの合計 229 件の研究論文を収集および分析し、4 つの重要な研究質問 (RQ) に答えます。
RQ1 では、SE タスクで使用されているさまざまな LLM を分類して比較分析し、その特有の機能と用途を示します。
RQ2 では、この領域でのデータ収集、前処理、およびアプリケーションに関連する方法を詳しく説明し、LLM の実装を成功させるための堅牢でよく厳選されたデータセットの重要な役割を明らかにします。
RQ3 を使用すると、LLM が目覚ましい成功を収めている特定の SE タスクを調べることができ、この分野に対する LLM の実際的な貢献が明らかになります。
最後に、RQ4 は、SE における LLM のパフォーマンスの最適化と評価に採用された戦略と、即時最適化に関連する一般的な手法を調査します。
前述の RQ への取り組みから得られた洞察をもとに、現在の最先端の全体像を描き、傾向を正確に特定し、既存の研究のギャップを特定し、将来の研究に向けて有望な分野にフラグを立てます。

要約(オリジナル)

Large Language Models (LLMs) have significantly impacted numerous domains, notably including Software Engineering (SE). Nevertheless, a well-rounded understanding of the application, effects, and possible limitations of LLMs within SE is still in its early stages. To bridge this gap, our systematic literature review takes a deep dive into the intersection of LLMs and SE, with a particular focus on understanding how LLMs can be exploited in SE to optimize processes and outcomes. Through a comprehensive review approach, we collect and analyze a total of 229 research papers from 2017 to 2023 to answer four key research questions (RQs). In RQ1, we categorize and provide a comparative analysis of different LLMs that have been employed in SE tasks, laying out their distinctive features and uses. For RQ2, we detail the methods involved in data collection, preprocessing, and application in this realm, shedding light on the critical role of robust, well-curated datasets for successful LLM implementation. RQ3 allows us to examine the specific SE tasks where LLMs have shown remarkable success, illuminating their practical contributions to the field. Finally, RQ4 investigates the strategies employed to optimize and evaluate the performance of LLMs in SE, as well as the common techniques related to prompt optimization. Armed with insights drawn from addressing the aforementioned RQs, we sketch a picture of the current state-of-the-art, pinpointing trends, identifying gaps in existing research, and flagging promising areas for future study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google