Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning

要約

数値推論は、自然言語処理モデルが現実世界のシナリオで数値情報を理解して処理するために不可欠です。
現在の手法のほとんどは、まず質問の中間意味表現 (IMR) を生成し、次に回答を生成します。
現在の SOTA メソッドは、ラージ言語モデル (LLM) を備えた IMR としてプログラムを生成します。
直観的には、方程式にはプログラムよりも制約が少なく、セマンティクスが質問に近いため、生成精度が高くなります。
ただし、現在の LLM はプログラムよりも悪い方程式を生成します。ここで、方程式データはプログラムに比べてトレーニング前のデータではまれであると想定されます。
そこで本論文では、数的推論タスクを解決するための IMR として方程式を使用することを試みます。(1) 方程式がプログラムよりも生成精度の高い IMR であることを理論的に証明する方法。
(2) 経験的に、LLM を使用した方程式の生成精度を向上させる方法。
最初の問題については、異なる IMR の生成精度を理論的に比較するという命題を提案し、証明します。
2 番目の問題については、方程式の生成を分解することによる Boosting Numerical Reason\textbfing (ブリッジ) と呼ばれる方法を提案します。これは、定数式とプログラムを生成する傾向を減らすことで、IMR として方程式を生成する際の LLM の精度を向上させることができます。
私たちの方法では、単一の推論パス設定の下で、以前の最先端の方法と比較して、GSM8K、SVAMP、代数データセットでパフォーマンスが 2.2%、0.9%、1.7% 向上しました。
コードとプロンプトは https://github.com/zirui-HIT/Bridge_for_Numerical_Reasoning でリリースされています。

要約(オリジナル)

Numerical reasoning is vital for natural language processing models to understand and process numerical information in real-world scenarios. Most current methods first generate the Intermediate Meaning Representations (IMRs) of questions and then generate answers. Current SOTA methods generate programs as IMRs with large language models (LLMs). Intuitively, equations have fewer restrictions and closer semantics to the question than programs, leading to higher generation accuracy. However, current LLMs generate equations worse than programs, where we assume that the equation data is rare in pre-training data compared to programs. So in this paper, we try to use equations as IMRs to solve the numerical reasoning task by addressing two problems: (1) Theoretically, how to prove that the equation is an IMR with higher generation accuracy than programs; (2) Empirically, how to improve the generation accuracy of equations with LLMs. For the first problem, we propose and prove a proposition to theoretically compare the generation accuracy of different IMRs. For the second problem, we present a method called Boosting Numerical Reason\textbfing by Decomposing the Generation of Equations (Bridge), which can improve the accuracy of LLMs in generating equations as IMRs by reducing the tendency of generating constant expressions and programs. Our method improves the performance by 2.2%, 0.9%, and 1.7% on GSM8K, SVAMP, and Algebra datasets compared to the previous state-of-the-art methods under the single reasoning path setting. Our codes and prompts are released in https://github.com/zirui-HIT/Bridge_for_Numerical_Reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google