From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future

要約

大規模言語モデル (LLM) の台頭により、研究者はソフトウェア エンジニアリングなどのさまざまな垂直領域でそのアプリケーションをますます探索しています。
LLM は、コード生成や脆弱性検出などの分野で目覚ましい成功を収めています。
ただし、これらには多くの制限や欠点もあります。
LLM ベースのエージェントは、汎用人工知能 (AGI) の可能性を秘めた新しいテクノロジーであり、意思決定と行動実行の中核として LLM を組み合わせ、自律性や自己の欠如など、LLM に固有の制限の一部に対処します。
改善。
ソフトウェア エンジニアリングで LLM を使用する可能性を探る研究や調査は数多く行われていますが、LLM と LLM ベースのエージェントとの明確な区別がありません。
LLM ソリューションをそのドメイン内の LLM ベースのエージェントとして認定するための統一標準とベンチマークは、まだ初期段階にあります。
この調査では、ソフトウェア エンジニアリングにおける LLM および LLM ベースのエージェントの現在の実践とソリューションを幅広く調査します。
特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、およびソフトウェア メンテナンスの 6 つの重要なトピックを要約します。
これら 6 つのトピックから LLM と LLM ベースのエージェントの作業を確認して区別し、タスク、ベンチマーク、評価指標における相違点と類似点を調べます。
最後に、使用されるモデルとベンチマークについて説明し、ソフトウェア エンジニアリングにおけるそれらのアプリケーションと有効性の包括的な分析を提供します。
私たちは、この研究によって、将来の研究のためにソフトウェア エンジニアリングにおける LLM ベースのエージェントの限界を押し上げることに光が当たると期待しています。

要約(オリジナル)

With the rise of large language models (LLMs), researchers are increasingly exploring their applications in var ious vertical domains, such as software engineering. LLMs have achieved remarkable success in areas including code generation and vulnerability detection. However, they also exhibit numerous limitations and shortcomings. LLM-based agents, a novel tech nology with the potential for Artificial General Intelligence (AGI), combine LLMs as the core for decision-making and action-taking, addressing some of the inherent limitations of LLMs such as lack of autonomy and self-improvement. Despite numerous studies and surveys exploring the possibility of using LLMs in software engineering, it lacks a clear distinction between LLMs and LLM based agents. It is still in its early stage for a unified standard and benchmarking to qualify an LLM solution as an LLM-based agent in its domain. In this survey, we broadly investigate the current practice and solutions for LLMs and LLM-based agents for software engineering. In particular we summarise six key topics: requirement engineering, code generation, autonomous decision-making, software design, test generation, and software maintenance. We review and differentiate the work of LLMs and LLM-based agents from these six topics, examining their differences and similarities in tasks, benchmarks, and evaluation metrics. Finally, we discuss the models and benchmarks used, providing a comprehensive analysis of their applications and effectiveness in software engineering. We anticipate this work will shed some lights on pushing the boundaries of LLM-based agents in software engineering for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google