You’re (Not) My Type — Can LLMs Generate Feedback of Specific Types for Introductory Programming Tasks?

要約

背景: 学習に最も影響を与える要素の 1 つとしてのフィードバックは、多くの研究の対象となってきました。
これは教育テクノロジー システムの開発において重要な役割を果たしており、伝統的に専門家とその経験によって定義された決定論的なフィードバックに根ざしています。
しかし、生成 AI、特に大規模言語モデル (LLM) の台頭により、特にプログラミングのコンテキストにおいて、学習システムの一部としてのフィードバックが変化することが予想されます。
以前は、プログラミング学習者へのフィードバックを自動化することは困難でした。
LLM は、これまで以上に豊富で個別のフィードバックを提供する新たな可能性を生み出す可能性があります。
目的: この文書は、LLM を使用した入門プログラミング タスクに対して特定の種類のフィードバックを生成することを目的としています。
既存のフィードバック分類法を再検討して、ランダム性、不確実性、変動の程度など、生成されたフィードバックの詳細を把握します。
方法: 本物の学生プログラムに応じて、(既存のフィードバック分類法の一部として) 特定のフィードバック タイプを生成するためのプロンプトを繰り返し設計しました。
次に、生成された出力を評価し、特定のフィードバック タイプをどの程度反映しているかを判断しました。
結果と結論: 今回の研究により、さまざまなフィードバックの側面と特性についての理解を深めることができました。
この結果は、フィードバック効果や学習者の情報ニーズなどに関する将来のフィードバック研究に影響を与えます。
さらに、AI によって生成されたフィードバックを含む、初心者プログラマー向けの新しいツールや学習システムの開発の基礎も提供します。

要約(オリジナル)

Background: Feedback as one of the most influential factors for learning has been subject to a great body of research. It plays a key role in the development of educational technology systems and is traditionally rooted in deterministic feedback defined by experts and their experience. However, with the rise of generative AI and especially Large Language Models (LLMs), we expect feedback as part of learning systems to transform, especially for the context of programming. In the past, it was challenging to automate feedback for learners of programming. LLMs may create new possibilities to provide richer, and more individual feedback than ever before. Objectives: This paper aims to generate specific types of feedback for introductory programming tasks using LLMs. We revisit existing feedback taxonomies to capture the specifics of the generated feedback, such as randomness, uncertainty, and degrees of variation. Methods: We iteratively designed prompts for the generation of specific feedback types (as part of existing feedback taxonomies) in response to authentic student programs. We then evaluated the generated output and determined to what extent it reflected certain feedback types. Results and Conclusion: The present work provides a better understanding of different feedback dimensions and characteristics. The results have implications for future feedback research with regard to, for example, feedback effects and learners’ informational needs. It further provides a basis for the development of new tools and learning systems for novice programmers including feedback generated by AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google