Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions

要約

フィードバックを提供することは、生徒のライティング スキルを向上させるために重要であると広く認識されています。
言語モデル (LM) の最近の進歩により、実用的で人間が指定した属性とよく整合したフィードバックを自動的に生成できるようになりました。
ただし、これらのモデルによって生成されるフィードバックが、生徒の改訂の質を高めるのに本当に効果的であるかどうかは依然として不明です。
さらに、改訂パフォーマンスの向上につながる可能性のある特定の属性に関するコンセンサスが欠如しているため、LM にフィードバックを生成するための正確な指示セットを促すことは簡単ではありません。
これらの課題に対処するために、LM がシミュレートした学生の改訂からの学習を通じてフィードバックを生み出す PROF を提案します。
PROF は、LM によってシミュレートされた生徒の全体的な改訂パフォーマンスの有効性を直接最大化することにより、フィードバック ジェネレーターを反復的に最適化することを目的としています。
経済エッセイの課題に焦点を当て、PROF の有効性を実証的にテストしたところ、私たちのアプローチは生徒の作文を改善する効果においてさまざまな基本的な方法を上回っているだけでなく、このために明示的に訓練されていないにもかかわらず、教育的価値の向上も実証されていることがわかりました。
側面。

要約(オリジナル)

Providing feedback is widely recognized as crucial for refining students’ writing skills. Recent advances in language models (LMs) have made it possible to automatically generate feedback that is actionable and well-aligned with human-specified attributes. However, it remains unclear whether the feedback generated by these models is truly effective in enhancing the quality of student revisions. Moreover, prompting LMs with a precise set of instructions to generate feedback is nontrivial due to the lack of consensus regarding the specific attributes that can lead to improved revising performance. To address these challenges, we propose PROF that PROduces Feedback via learning from LM simulated student revisions. PROF aims to iteratively optimize the feedback generator by directly maximizing the effectiveness of students’ overall revising performance as simulated by LMs. Focusing on an economic essay assignment, we empirically test the efficacy of PROF and observe that our approach not only surpasses a variety of baseline methods in effectiveness of improving students’ writing but also demonstrates enhanced pedagogical values, even though it was not explicitly trained for this aspect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google