Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning

要約

大規模な言語モデルを使用した思考連鎖 (CoT) プロンプトは、多くの自然言語処理タスクで効果的であることが証明されていますが、多様な問題タイプに適切に一般化するプロンプトを設計することは、特に数学の文章題 (MWP) 解決のコンテキストにおいては困難な場合があります。
さらに、ダイバーシティ カバレッジが優れているものの、CoT アノテーションが利用できない大量のトレーニング データがあることが一般的であり、そのため教師あり学習手法の使用が制限されます。
これらの問題に対処するために、数ショット プロンプト シナリオでトレーニング データを活用する 2 つのアプローチ、つまり動的プログラム プロンプトとプログラム蒸留を調査します。
私たちのアプローチは主に Gao et al. (2022) からインスピレーションを受けており、そこでは CoT を中間推論ステップとしてプログラムに置き換えることを提案しています。
このようなプロンプト戦略により、MWP 解決におけるプログラムの実行を通じて答えの正しさを正確に検証することができます。
動的プログラム プロンプトには、大規模な言語モデルから正しいプログラムをサンプリングしてトレーニング データに注釈を付けることが含まれますが、プログラムの蒸留には、プログラムの注釈が付けられたトレーニング データに小さなモデルを適応させることが含まれます。
3 つの標準 MWP データセットでの実験では、これらのアプローチの有効性が実証され、プロンプトと微調整に関して以前のベースラインに比べて大幅な改善が得られました。
私たちの結果は、大量のトレーニング データを活用することでプロンプトの汎化能力を向上させ、MWP 解決における微調整された小規模モデルのパフォーマンスを向上できることを示唆しています。

要約(オリジナル)

Chain-of-thought (CoT) prompting with large language models has proven effective in numerous natural language processing tasks, but designing prompts that generalize well to diverse problem types can be challenging, especially in the context of math word problem (MWP) solving. Additionally, it is common to have a large amount of training data that have a better diversity coverage but CoT annotations are not available, which limits the use of supervised learning techniques. To address these issues, we investigate two approaches to leverage the training data in a few-shot prompting scenario: dynamic program prompting and program distillation. Our approach is largely inspired by Gao et al., (2022), where they proposed to replace the CoT with the programs as the intermediate reasoning step. Such a prompting strategy allows us to accurately verify the answer correctness through program execution in MWP solving. Our dynamic program prompting involves annotating the training data by sampling correct programs from a large language model, while program distillation involves adapting a smaller model to the program-annotated training data. Our experiments on three standard MWP datasets demonstrate the effectiveness of these approaches, yielding significant improvements over previous baselines for prompting and fine-tuning. Our results suggest that leveraging a large amount of training data can improve the generalization ability of prompts and boost the performance of fine-tuned small models in MWP solving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google