DOP: Diagnostic-Oriented Prompting for Large Language Models in Mathematical Correction

要約

数学世界問題修正 (MWPC) は、数学的問題を解く過程での推論エラーの修正に特化した新しいタスクです。
このペーパーでは、大規模言語モデル (LLM) の進歩を活用して、次の 2 つの重要な目的に取り組みます。(1) 数学的推論と誤り訂正を区別する。
(2) MWPC タスクを解決するために、数学における LLM の誤り訂正能力を強化する戦略を探索します。
私たちは、リアルタイム教育においては、単に正しい答えを提供することよりも、生徒が間違いを認識できるように支援することがより重要であることに気付きました。
ただし、現在の研究では、数学の問題の正確な解決策を得ることが、不正確な可能性のある問題を修正することよりも優先される傾向があります。
したがって、私たちは研究パラダイムを修正し、数学的推論能力の向上が誤り訂正の習得と同等ではないことを実証しました。
一方、我々は、LLM が誤り訂正能力に優れるようにすることを目的とした、診断指向プロンピング (DOP) と呼ばれる新しい方法を提案します。
実験では、DOP は優れたパフォーマンスを示し、その重大な影響が強調されました。
私たちは、数学教育においては、優れた添削者に対する需要が、熟練した推論者に対する需要を上回っていると主張します。
コードとデータは https://github.com/ChenhaoEcnuCS/Reason-Correct で入手できます。

要約(オリジナル)

Math world problems correction(MWPC) is a novel task dedicated to rectifying reasoning errors in the process of solving mathematical problems. In this paper, leveraging the advancements in large language models (LLMs), we address two key objectives:(1) Distinguishing between mathematical reasoning and error correction; (2) Exploring strategies to enhance the error correction capabilities of LLMs in mathematics to solve MWPC task. We noticed that, in real-time education,assisting students in recognizing their mistakes is more crucial than simply providing correct answers. However, current research tends to prioritize obtaining accurate solutions to math problems rather than correcting potentially incorrect ones. Therefore, we modify the research paradigm, demonstrating that improving mathematical reasoning abilities does not equate to mastery in error correction. Meanwhile, we propose a novel method called diagnostic-oriented promping(DOP) aimed at facilitating LLMs to excel in error correction. In experiments, DOP has shown outstanding performance, highlighting its significant impact. We argue that in mathematical education, the demand for outstanding correctors surpasses that for proficient reasoners. Codes and data are available on https://github.com/ChenhaoEcnuCS/Reason-Correct.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google