Generating Feedback-Ladders for Logical Errors in Programming using Large Language Models

要約

プログラミング割り当てにおける論理エラーに対するフィードバック生成では、大規模言語モデル (LLM) ベースの手法が大きな期待を集めています。
これらのメソッドは、LLM に対して、問題の記述と学生の (バグのある) 提出物を考慮してフィードバックを生成するように要求します。
この種の方法にはいくつかの問題があります。
まず、生成されたフィードバック メッセージは、提出物の間違いを明らかにするのに直接的すぎることが多く、そのため、生徒が学ぶ貴重な機会が減ってしまいます。
第 2 に、学生の学習コンテキスト (以前の提出物、現在の知識など) が考慮されていません。第 3 に、既存の方法ではすべての学生の提出物に対して単一の共有プロンプトが使用されるため、階層化されていません。
このペーパーでは、LLM を使用して「フィードバック ラダー」、つまり同じ問題と提出のペアに対する複数レベルのフィードバックを生成する方法を検討します。
私たちは、学生、教育者、研究者によるユーザー調査を通じて、生成されたフィードバックラダーの品質を評価します。
この研究では、全体的に高レベルのフィードバックと高得点の提出物の有効性が低下していることが観察されました。
実際に、私たちの方法を使用すると、教師は個人の学習状況に基づいて生徒に表示する適切なレベルのフィードバックを選択したり、より高いレベルのフィードバックで生徒の間違いを修正できない場合には、より詳細なレベルのフィードバックを段階的に選択したりすることができます。

要約(オリジナル)

In feedback generation for logical errors in programming assignments, large language model (LLM)-based methods have shown great promise. These methods ask the LLM to generate feedback given the problem statement and a student’s (buggy) submission. There are several issues with these types of methods. First, the generated feedback messages are often too direct in revealing the error in the submission and thus diminish valuable opportunities for the student to learn. Second, they do not consider the student’s learning context, i.e., their previous submissions, current knowledge, etc. Third, they are not layered since existing methods use a single, shared prompt for all student submissions. In this paper, we explore using LLMs to generate a ‘feedback-ladder’, i.e., multiple levels of feedback for the same problem-submission pair. We evaluate the quality of the generated feedback-ladder via a user study with students, educators, and researchers. We have observed diminishing effectiveness for higher-level feedback and higher-scoring submissions overall in the study. In practice, our method enables teachers to select an appropriate level of feedback to show to a student based on their personal learning context, or in a progressive manner to go more detailed if a higher-level feedback fails to correct the student’s error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google