Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval

要約

大規模言語モデル (LLM) は、数学の文章題 (MWP) などの複雑な推論タスクに苦労することが知られています。
この論文では、同様の構造の質問からの類推によって、MWP に対する LLM の問題解決能力がどのように向上するかを示します。
具体的には、指定された質問に類似した計算グラフを持つ問題の検索に依存して、プロンプトの例として機能し、生成モデルが参照する正しい推論パスを提供します。
6 つの数学文章問題データセットにわたる実証結果は、ベースライン手法と比較して、絶対値で平均最大 6.7 パーセントの大幅な改善を達成する、私たちの提案手法の有効性を示しています。
これらの結果は、現在の LLM における推論上の課題に対処する際の私たちの手法の可能性を強調しています。

要約(オリジナル)

Large language models (LLMs) are known to struggle with complicated reasoning tasks such as math word problems (MWPs). In this paper, we present how analogy from similarly structured questions can improve LLMs’ problem-solving capabilities for MWPs. Specifically, we rely on the retrieval of problems with similar computational graphs to the given question to serve as exemplars in the prompt, providing the correct reasoning path for the generation model to refer to. Empirical results across six math word problem datasets demonstrate the effectiveness of our proposed method, which achieves a significant improvement of up to 6.7 percent on average in absolute value, compared to baseline methods. These results highlight our method’s potential in addressing the reasoning challenges in current LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google