FormulaReasoning: A Dataset for Formula-Based Numerical Reasoning

要約

公式の適用は、数的推論の問題に取り組む際の人間の基本的な能力です。
ただし、既存の数値推論データセットでは、推論ステップ中に使用される式が明示的に示されることはほとんどありません。
このギャップを埋めるために、FormulaReasoning と呼ばれる数式ベースの数値推論用のデータセットを構築しました。これは、5,420 の推論ベースの質問で構成されています。
私たちはこれを使用して、ゼロショットおよび少数ショットの思考連鎖法を利用して、7B から 100B を超えるサイズのパラメータで LLM の評価を実行します。また、当社の
データセット。
また、推論プロセスを数式生成、パラメータ抽出、数値計算に分けてデータ拡張を行う教師あり手法の実験も行っています。
私たちの経験的発見は、複雑な数式主導の FormulaReasoning に適用すると、既存のモデルが大幅に改善される可能性があることを強調しています。

要約(オリジナル)

The application of formulas is a fundamental ability of humans when addressing numerical reasoning problems. However, existing numerical reasoning datasets seldom explicitly indicate the formulas employed during the reasoning steps. To bridge this gap, we construct a dataset for formula-based numerical reasoning called FormulaReasoning, which consists of 5,420 reasoning-based questions. We employ it to conduct evaluations of LLMs with size ranging from 7B to over 100B parameters utilizing zero-shot and few-shot chain-of-thought methods, and we further explore using retrieval-augmented LLMs provided with an external formula database associated with our dataset. We also experiment with supervised methods where we divide the reasoning process into formula generation, parameter extraction, and numerical calculation, and perform data augmentation. Our empirical findings underscore the significant potential for improvement in existing models when applied to our complex, formula-driven FormulaReasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google