Comparing Code Explanations Created by Students and Large Language Models

要約

タイトル: 学生と大規模言語モデルが生成するコード説明の比較
要約:
– コンピュータサイエンティストにとって、コードの理解と目的の説明は基本的なスキルです。
– 学生のコード説明能力とライティング、トレースなどのスキルの関係について、コンピューティング教育分野で広範な研究が行われています。
– 特に、コードが全ての可能な入力に対してどのように振る舞うかを高い抽象度で説明する能力は、コードライティングスキルと強く相関します。
– ただし、正確で簡潔なコードを理解し説明する能力を開発することは、多くの学生にとって課題です。
– 要求に応じた模範コード説明を生成するなど、コード説明力を支援する既存の教育的アプローチは、大規模な教室にはスケールしません。
– 強力な大規模言語モデル(LLM)の出現は、解決策を提供する可能性があります。
– 本論文では、LLMが生成する説明を評価するため、コース(n≈1000)で学生によって作成された説明と比較します。
– LLMが自動的に作成する説明は、要求に応じて生成でき、学生によって作成された説明に比べて、理解しやすく、コードの要約がより正確であると評価されています。
– この発見の重要性について議論し、導入プログラミング教育にどのようにモデルを統合できるかを提案します。

要約(オリジナル)

Reasoning about code and explaining its purpose are fundamental skills for computer scientists. There has been extensive research in the field of computing education on the relationship between a student’s ability to explain code and other skills such as writing and tracing code. In particular, the ability to describe at a high-level of abstraction how code will behave over all possible inputs correlates strongly with code writing skills. However, developing the expertise to comprehend and explain code accurately and succinctly is a challenge for many students. Existing pedagogical approaches that scaffold the ability to explain code, such as producing exemplar code explanations on demand, do not currently scale well to large classrooms. The recent emergence of powerful large language models (LLMs) may offer a solution. In this paper, we explore the potential of LLMs in generating explanations that can serve as examples to scaffold students’ ability to understand and explain code. To evaluate LLM-created explanations, we compare them with explanations created by students in a large course ($n \approx 1000$) with respect to accuracy, understandability and length. We find that LLM-created explanations, which can be produced automatically on demand, are rated as being significantly easier to understand and more accurate summaries of code than student-created explanations. We discuss the significance of this finding, and suggest how such models can be incorporated into introductory programming education.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI