Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning

要約

大規模言語モデル (LLM) は、数学的推論などのタスクにおいて優れたパフォーマンスを発揮しますが、実際の使用は、高い計算要求と独自の制限によって制限されます。
思考連鎖 (CoT) と思考プログラム (PoT) の微調整は、LLM の知識を小型言語モデル (SLM) に転送する一般的な方法です。
ただし、CoT は SLM での計算エラーにつながることがよくありますが、PoT はより有望であることが示されています。
ほとんどの PoT ベースのアプローチは、問題からコードへの直接変換、または質問から重要な情報のみを抽出して、それに対するコードによる解決策を提供することに重点を置いていますが、この取り組みでは、質問のギャップを埋めて解決策を明確に示すことに重点を置いています。
このような情報が明示的に提供されない場合、SLM が理解するのは困難です。
したがって、このホワイトペーパーでは、SLM の問題解決プロセスを強化するために設計された新しい 2 段階のプロンプト戦略であるギャップ充填プロンプティング (GFP) を紹介します。
最初のステップではこれらのギャップを特定し、それを埋めるためのヒントを提供します。一方、2 番目のステップでは質問にヒントを追加して、最終的なコードの解決策を生成します。
2 つのベンチマーク データセットに関する実験結果は、GFP が SLM の数学的推論能力を大幅に向上させることを示しています。

要約(オリジナル)

Despite the strong performance of large language models (LLMs) in tasks like mathematical reasoning, their practical use is limited by high computational demands and proprietary restrictions. Chain-of-thought (CoT) and program-of-thought (PoT) fine-tuning are common methods to transfer LLM knowledge to small language models (SLMs). However, CoT often leads to calculation errors in SLMs, while PoT has shown more promise. While most PoT-based approaches focus on direct problem-to-code conversion or extracting only the key information from questions and then providing code solution for it, this work emphasizes filling the gaps in the question to clearly illustrate the solution path, which can be challenging for an SLM to understand when such information is not explicitly provided. Therefore, this paper introduces Gap-Filling Prompting (GFP), a novel two-step prompting strategy designed to enhance the problem-solving process for SLMs. The first step identifies these gaps and provides hints for filling them, while the second step adds the hints to the question to generate a final code solution. Experimental results on two benchmark datasets demonstrate that GFP significantly improves the mathematical reasoning abilities of SLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google