An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project

要約

大規模言語モデル (LLM) は、人工知能の飛躍的な進歩を表し、人間の言語を使用するタスクに優れています。
汎用 LLM の主な焦点はコード生成ではありませんが、この分野で有望な結果を示しています。
ただし、学術的なソフトウェア エンジニアリング プロジェクトにおける LLM の有用性はまだ十分に調査されていません。
この研究では、最大 6 人のメンバーからなるチームで活動する 214 人の学生を対象に、LLM の有用性を調査します。
特に、この研究が実施されている学術コースでは、LLM の使用を明示的に禁止している他のほとんどの学術コースとは対照的に、学生は LLM を開発ツールチェーンに統合することが奨励されています。
このペーパーでは、AI によって生成されたコード、コード生成に使用されるプロンプト、およびコードをコード ベースに統合するための人間の介入レベルを分析します。
また、コンピュータ サイエンスの学生の観点から、LLM の認識された有用性、影響要因、および将来の見通しについての洞察を得るために、認識調査も実施します。
私たちの調査結果は、LLM がソフトウェア開発の初期段階、特に基本的なコード構造の生成、および構文とエラーのデバッグの支援において重要な役割を果たす可能性があることを示唆しています。
これらの洞察は、ソフトウェア エンジニアリングの学生の生産性を向上させるツールとして LLM を効果的に利用する方法に関するフレームワークを提供し、人間と AI のコラボレーションを成功させるための準備に教育の重点を移す必要性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) represent a leap in artificial intelligence, excelling in tasks using human language(s). Although the main focus of general-purpose LLMs is not code generation, they have shown promising results in the domain. However, the usefulness of LLMs in an academic software engineering project has not been fully explored yet. In this study, we explore the usefulness of LLMs for 214 students working in teams consisting of up to six members. Notably, in the academic course through which this study is conducted, students were encouraged to integrate LLMs into their development tool-chain, in contrast to most other academic courses that explicitly prohibit the use of LLMs. In this paper, we analyze the AI-generated code, prompts used for code generation, and the human intervention levels to integrate the code into the code base. We also conduct a perception study to gain insights into the perceived usefulness, influencing factors, and future outlook of LLM from a computer science student’s perspective. Our findings suggest that LLMs can play a crucial role in the early stages of software development, especially in generating foundational code structures, and helping with syntax and error debugging. These insights provide us with a framework on how to effectively utilize LLMs as a tool to enhance the productivity of software engineering students, and highlight the necessity of shifting the educational focus toward preparing students for successful human-AI collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google