Step-by-Step Remediation of Students’ Mathematical Mistakes

要約

質の高い個別指導を拡大することは、教育における大きな課題です。
需要が高まっているため、多くのプラットフォームではプロの教育者とは異なり、生徒の間違いに効果的に対処するのに苦労し、生徒にとって絶好の学習の機会をつかむことができていない初心者の家庭教師を雇用しています。
この論文では、数学の家庭教師が生徒の間違いを修正するのを支援する大規模言語モデル (LLM) の可能性を探ります。
私たちは、経験豊富な数学教師と共同開発したベンチマークである ReMath を紹介します。これは、教師の思考プロセスを分析して修正します。
このベンチマークは、(1) 生徒のエラーの種類を推測する、(2) エラーに対処する戦略を決定する、(3) その情報を組み込んだ応答を生成するという 3 つの段階的なタスクで構成されます。
ReMath で最先端の命令調整モデルと対話モデルのパフォーマンスを評価します。
私たちの調査結果は、モデルは元の講師の応答を一貫して改善しているものの、間違いを修正するためにモデルのみに依存することはできないことを示唆しています。
エラーのタイプ (例: 生徒が推測している) と戦略 (例: 問題を単純化する) をモデルに提供すると、その情報のないモデルと比べて応答品質が 75% 向上します。
それにもかかわらず、改善されたにもかかわらず、最良のモデルの応答の質は依然として経験豊富な数学教師には及ばない。
私たちの研究は、現在の LLM を使用して家庭教師と生徒の両方に質の高い学習体験を大規模に提供することの可能性と限界を明らかにしています。
私たちの成果は、\url{https://github.com/rosewang2008/remath} のリンクでオープンソース化されています。

要約(オリジナル)

Scaling high-quality tutoring is a major challenge in education. Because of the growing demand, many platforms employ novice tutors who, unlike professional educators, struggle to effectively address student mistakes and thus fail to seize prime learning opportunities for students. In this paper, we explore the potential for large language models (LLMs) to assist math tutors in remediating student mistakes. We present ReMath, a benchmark co-developed with experienced math teachers that deconstructs their thought process for remediation. The benchmark consists of three step-by-step tasks: (1) infer the type of student error, (2) determine the strategy to address the error, and (3) generate a response that incorporates that information. We evaluate the performance of state-of-the-art instruct-tuned and dialog models on ReMath. Our findings suggest that although models consistently improve upon original tutor responses, we cannot rely on models alone to remediate mistakes. Providing models with the error type (e.g., the student is guessing) and strategy (e.g., simplify the problem) leads to a 75% improvement in the response quality over models without that information. Nonetheless, despite the improvement, the quality of the best model’s responses still falls short of experienced math teachers. Our work sheds light on the potential and limitations of using current LLMs to provide high-quality learning experiences for both tutors and students at scale. Our work is open-sourced at this link: \url{https://github.com/rosewang2008/remath}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google