Can ChatGPT Play the Role of a Teaching Assistant in an Introductory Programming Course?

要約

大規模言語モデル (LLM) の出現は、教育に大きな影響を与えると予想されます。
このペーパーでは、LLM である ChatGPT をプログラミング入門コースの仮想ティーチング アシスタント (TA) として使用する可能性を検討します。
ChatGPT の性能を、いくつかの TA 機能における人間の TA のパフォーマンスと比較することによって評価します。
私たちが重点を置いている TA 業務には、(1) プログラミング課題の解決、(2) 学生の提出コードの採点、(3) プログラミング入門コースの学部学生へのフィードバックの提供が含まれます。
まず、ChatGPT のソリューションが学生から提出されたソリューションとどの程度一致しているかを調査します。
この分析は、コードの正確性を超えて、コードの品質も考慮します。
次に、特定の採点ルーブリックを使用して学生コードの提出を採点する際の ChatGPT の熟練度を評価し、そのパフォーマンスを人間の TA によって割り当てられた成績と比較します。
第三に、ChatGPT によって提供されるフィードバックの品質と関連性を分析します。
この評価では、ChatGPT がどの程度間違いに対処しているかを検討し、コードの正確性とコード品質の両方の観点から生徒の解決策を改善するための提案を提供します。
最後に、ChatGPT をコンピューティング教育に統合して、自動採点、パーソナライズされた学習体験、指導サポートを実現することの意味について説明します。

要約(オリジナル)

The emergence of Large language models (LLMs) is expected to have a major impact on education. This paper explores the potential of using ChatGPT, an LLM, as a virtual Teaching Assistant (TA) in an Introductory Programming Course. We evaluate ChatGPT’s capabilities by comparing its performance with that of human TAs in some TA functions. The TA functions which we focus on include (1) solving programming assignments, (2) grading student code submissions, and (3) providing feedback to undergraduate students in an introductory programming course. Firstly, we investigate how closely ChatGPT’s solutions align with those submitted by students. This analysis goes beyond code correctness and also considers code quality. Secondly, we assess ChatGPT’s proficiency in grading student code submissions using a given grading rubric and compare its performance with the grades assigned by human TAs. Thirdly, we analyze the quality and relevance of the feedback provided by ChatGPT. This evaluation considers how well ChatGPT addresses mistakes and offers suggestions for improvement in student solutions from both code correctness and code quality perspectives. We conclude with a discussion on the implications of integrating ChatGPT into computing education for automated grading, personalized learning experiences, and instructional support.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google