Boosting Large Language Models with Socratic Method for Conversational Mathematics Teaching

要約

大規模言語モデル (LLM) の導入により、自動数学推論は大きな成功を収めました。
ただし、現在の手法は主に、問題解決の精度を高めるために解決策を提供したり、思考連鎖などの手法を使用したりすることに重点を置いています。
この論文では、ソクラテス教育ベースの LLM (\texttt{SocraticLLM}) を介して数学教育の能力を向上させることに焦点を当てます。この LLM は、学習者を明晰で深い思考に導き、会話を通じて自己発見に導きます。
私たちは、\texttt{SocraticMATH} という名前の高品質な数学教育データセットを収集してリリースしています。これは、追加の知識を伴う問題についてのソクラテス スタイルの会話を提供します。
また、レビュー、ガイダンス/ヒューリスティック、修正、要約を備えた信頼性の高い応答を生成するための強力なベースラインとして、知識を強化した LLM を提案します。
実験結果は、\texttt{SocraticLLM} をいくつかの強力な生成モデルと比較することによって、その大きな利点を示しています。
コードとデータセットは \url{https://github.com/ECNU-ICALK/SocraticMath} で入手できます。

要約(オリジナル)

With the introduction of large language models (LLMs), automatic math reasoning has seen tremendous success. However, current methods primarily focus on providing solutions or using techniques like Chain-of-Thought to enhance problem-solving accuracy. In this paper, we focus on improving the capability of mathematics teaching via a Socratic teaching-based LLM (\texttt{SocraticLLM}), which guides learners toward profound thinking with clarity and self-discovery via conversation. We collect and release a high-quality mathematical teaching dataset, named \texttt{SocraticMATH}, which provides Socratic-style conversations of problems with extra knowledge. Also, we propose a knowledge-enhanced LLM as a strong baseline to generate reliable responses with review, guidance/heuristic, rectification, and summarization. Experimental results show the great advantages of \texttt{SocraticLLM} by comparing it with several strong generative models. The codes and datasets are available on \url{https://github.com/ECNU-ICALK/SocraticMath}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google