AutoTutor meets Large Language Models: A Language Model Tutor with Rich Pedagogy and Guardrails

要約

大規模言語モデル (LLM) は、自動質問生成からエッセイ評価に至るまで、教育においていくつかの使用例を発見しています。
このペーパーでは、大規模言語モデル (LLM) を使用してインテリジェント個別指導システムを作成する可能性を探ります。
LLM によくある落とし穴は、答えを生徒に漏らすなど、望ましい教育戦略から逸脱し、一般に保証を提供しないことです。
私たちは、特定のガードレールを備えた LLM が主題の専門家に代わることはできますが、最良の学習結果を得るには全体的な教育設計を手作りする必要があると考えています。
この原理に基づいて、MWPTutor という名前のサンプルのエンドツーエンド個別指導システムを作成します。このシステムは、LLM を使用して、事前定義された有限状態トランスデューサーの状態空間を埋めます。
このアプローチは、学習科学者によって長年にわたって開発されてきた伝統的な個別指導システムの構造と教育学を保持していますが、LLM ベースのアプローチのさらなる柔軟性をもたらします。
数学の文章題に基づいた 2 つのデータセットに対する人間による評価研究を通じて、私たちのハイブリッド アプローチは、指示ありだがそれ以外は自由形式の GPT-4 よりも総合的な個別指導スコアが高いことを示しました。
MWPTutor は完全にモジュール式であり、個々のモジュールを改善したり、従うことができるさまざまな教育戦略を使用したりすることで、コミュニティのパフォーマンスを向上させる余地を広げます。

要約(オリジナル)

Large Language Models (LLMs) have found several use cases in education, ranging from automatic question generation to essay evaluation. In this paper, we explore the potential of using Large Language Models (LLMs) to author Intelligent Tutoring Systems. A common pitfall of LLMs is their straying from desired pedagogical strategies such as leaking the answer to the student, and in general, providing no guarantees. We posit that while LLMs with certain guardrails can take the place of subject experts, the overall pedagogical design still needs to be handcrafted for the best learning results. Based on this principle, we create a sample end-to-end tutoring system named MWPTutor, which uses LLMs to fill in the state space of a pre-defined finite state transducer. This approach retains the structure and the pedagogy of traditional tutoring systems that has been developed over the years by learning scientists but brings in additional flexibility of LLM-based approaches. Through a human evaluation study on two datasets based on math word problems, we show that our hybrid approach achieves a better overall tutoring score than an instructed, but otherwise free-form, GPT-4. MWPTutor is completely modular and opens up the scope for the community to improve its performance by improving individual modules or using different teaching strategies that it can follow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google