A Preliminary Analysis on the Code Generation Capabilities of GPT-3.5 and Bard AI Models for Java Functions

要約

このペーパーでは、関数の記述が与えられた Java コードを生成する際の 2 つの最先端の人工知能 (AI) モデル、GPT-3.5 と Bard の機能を評価します。
説明は、プログラミングを学習するための練習問題を提供する人気のオンライン プラットフォームである、CodingBat.com から入手しました。
私たちは、プラットフォーム独自のテスト ケースを通じて検証された正確性に基づいて、両方のモデルによって生成された Java コードを比較しました。
結果は、2 つのモデルの機能に明らかな違いがあることを示しています。
GPT-3.5 は優れたパフォーマンスを示し、関数記述の約 90.6% について正しいコードを生成しましたが、Bard は関数の 53.1% について正しいコードを生成しました。
どちらのモデルにも長所と短所がありましたが、これらの調査結果は、より高度な AI 支援コード生成ツールの開発と改良の可能性を示唆しています。
この研究は、ソフトウェア開発の自動化およびサポート側面における AI の可能性を強調していますが、この可能性を完全に実現するにはさらなる研究が必要です。

要約(オリジナル)

This paper evaluates the capability of two state-of-the-art artificial intelligence (AI) models, GPT-3.5 and Bard, in generating Java code given a function description. We sourced the descriptions from CodingBat.com, a popular online platform that provides practice problems to learn programming. We compared the Java code generated by both models based on correctness, verified through the platform’s own test cases. The results indicate clear differences in the capabilities of the two models. GPT-3.5 demonstrated superior performance, generating correct code for approximately 90.6% of the function descriptions, whereas Bard produced correct code for 53.1% of the functions. While both models exhibited strengths and weaknesses, these findings suggest potential avenues for the development and refinement of more advanced AI-assisted code generation tools. The study underlines the potential of AI in automating and supporting aspects of software development, although further research is required to fully realize this potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google