Learning Code-Edit Embedding to Model Student Debugging Behavior

要約

コンピューターサイエンス教育におけるプログラミングの割り当てのための効果的なフィードバックを提供することは困難です。学生は、コードを繰り返し提出し、それを実行し、コンパイラまたは自動卒業生からの限られたフィードバックを使用してデバッグすることで問題を解決します。
このプロセスでの学生のデバッグ行動を分析すると、知識に対する重要な洞察が明らかになり、より良いパーソナライズされたサポートツールが通知する可能性があります。
この作業では、デバッグ動作をキャプチャするために、連続した学生コード提出の間の意味のあるコード編集埋め込みを学習するエンコーダーデコダーベースのモデルを提案します。
私たちのモデルは、学生コードの提出が各テストケースを通過して大規模な言語モデル（LLM）を微調整してコード編集表現を微調整するかどうかについての情報を活用しています。
これにより、テストケースの正確性を改善しながら、生徒のコーディングスタイルを維持するパーソナライズされたネクストステップコードの提案が可能になります。
また、私たちのモデルにより、学生コード編集パターンを分析して、クラスタリング技術を使用して、一般的な学生のエラーとデバッグ行動を明らかにします。
実世界の学生コード提出データセットの実験結果は、学生のデバッグ行動の興味深いパターンを明らかにしながら、モデルがコードの再構成とパーソナライズされたコード提案に優れていることを示しています。

要約(オリジナル)

Providing effective feedback for programming assignments in computer science education can be challenging: students solve problems by iteratively submitting code, executing it, and using limited feedback from the compiler or the auto-grader to debug. Analyzing student debugging behavior in this process may reveal important insights into their knowledge and inform better personalized support tools. In this work, we propose an encoder-decoder-based model that learns meaningful code-edit embeddings between consecutive student code submissions, to capture their debugging behavior. Our model leverages information on whether a student code submission passes each test case to fine-tune large language models (LLMs) to learn code editing representations. It enables personalized next-step code suggestions that maintain the student’s coding style while improving test case correctness. Our model also enables us to analyze student code-editing patterns to uncover common student errors and debugging behaviors, using clustering techniques. Experimental results on a real-world student code submission dataset demonstrate that our model excels at code reconstruction and personalized code suggestion while revealing interesting patterns in student debugging behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google