User-Centric Evaluation of ChatGPT Capability of Generating R Program Code

要約

本論文では、自然言語入力からRプログラミング言語コードを生成するChatGPTの機能を評価した。Rプログラムコード生成のために特別に設計されたデータセットは、シナリオベースのテストと、難易度やプログラムの種類が異なる様々な使用シナリオにおけるコード生成能力の評価をサポートするメタデータとともに構築された。評価では、テスト者が満足のいく解が得られるまで何度も試行してコード生成タスクを完了させるか、最大試行回数が決まってからあきらめる、複数回の試行プロセスをとる。各試行において、テスト者は以前の結果と完了すべきタスクに基づいてChatGPTへの自然言語入力を定式化する。タスクの平均試行回数と平均所要時間に加え、最終的に生成された解は、正確さ、完全さ、簡潔さ、読みやすさ、構造化度、論理の明瞭さ、展開の深さ、パラメータの網羅性など、多くの品質属性で評価される。我々の実験では、ChatGPTは一般的に高品質のRプログラムコードとテキスト説明を生成する能力が高いことが実証されました。また、実験データは、人間の開発者がChatGPTを使ってコードを生成するスキルを向上させるために、経験から自然に学ぶことはほとんどできないことを示しています。

要約(オリジナル)

This paper reports an evaluation of ChatGPT’s capability of generating R programming language code from natural language input. A dataset specially designed for generating R program code was constructed with metadata to support scenario-based testing and evaluation of code generation capabilities in various usage scenarios of different levels of difficulty and different types of programs. The evaluation takes a multiple attempt process in which the tester tries to complete the code generation task through a number of attempts until a satisfactory solution is obtained or gives up after a fixed number of maximal attempts. In each attempt the tester formulates a natural language input to ChatGPT based on the previous results and the task to be completed. In addition to the metrics of average numbers of attempts and average amount of time taken to complete the tasks, the final generated solutions are then assessed on a number of quality attributes, including accuracy, completeness, conciseness, readability, well structuredness, logic clarity, depth of ex-planation, and coverage of parameters. Our experiments demonstrated that ChatGPT is in general highly capable of generating high quality R program code as well as textual explanations although it may fail on hard programming tasks. The experiment data also shows that human developers can hardly learn from experiences naturally to improve the skill of using ChatGPT to generate code.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL