Examination of Code generated by Large Language Models

要約

ChatGPT や Copilot などの大規模言語モデル (LLM) は、コード生成を自動化することでソフトウェア開発を変革しており、おそらく、迅速なプロトタイピングを可能にし、教育をサポートし、生​​産性を向上させます。
したがって、生成されたコードの正確性と品質は、手動で作成されたコードと同等である必要があります。
高品質で正しいコードを生成する際の LLM の現状を評価するために、ChatGPT と Copilot を使用して制御された実験を実施しました。LLM に Java と Python で単純なアルゴリズムを生成させ、対応する単体テストを実行させ、正確さと品質 (カバレッジ) を評価しました。
) 生成された (テスト) コード。
私たちは、LLM 間、言語間、アルゴリズムとテスト コード間、および時間の経過に伴う大きな違いを観察しました。
この論文では、これらの結果を、より多くのアルゴリズム、言語、LLM について長期にわたって繰り返し比較可能な評価を可能にする実験方法とともに報告します。

要約(オリジナル)

Large language models (LLMs), such as ChatGPT and Copilot, are transforming software development by automating code generation and, arguably, enable rapid prototyping, support education, and boost productivity. Therefore, correctness and quality of the generated code should be on par with manually written code. To assess the current state of LLMs in generating correct code of high quality, we conducted controlled experiments with ChatGPT and Copilot: we let the LLMs generate simple algorithms in Java and Python along with the corresponding unit tests and assessed the correctness and the quality (coverage) of the generated (test) codes. We observed significant differences between the LLMs, between the languages, between algorithm and test codes, and over time. The present paper reports these results together with the experimental methods allowing repeated and comparable assessments for more algorithms, languages, and LLMs over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google