Calc-CMU at SemEval-2024 Task 7: Pre-Calc — Learning to Use the Calculator Improves Numeracy in Language Models

要約

言語の定量的かつ数値的な理解は、教育や金融などの多くの分野で重要な課題ですが、言語モデルにとっては依然として困難な課題です。
ツールと計算機の使用は、大規模な事前トレーニング済みデコーダーのみの言語モデルでは数学的推論を改善するのに役立つことが示されていますが、エンコーダーを備えた小規模な言語モデルではまだ解明されていません。
この論文では、エンコーダのみのアーキテクチャとエンコーダ – デコーダのアーキテクチャの両方で計算機の使用方法を学習するための簡単な事前微調整目標である Pre-Calc を提案します。それぞれ、識別タスクと生成タスクとして定式化されます。
MAWPS、SVAMP、および AsDiv-A データセット上で、判別計算機で使用するために BERT と RoBERTa を事前トレーニングし、生成計算機で使用するために Flan-T5 を事前トレーニングします。これにより、数値的な理解を必要とする下流タスクのパフォーマンスが向上します。
コードとデータは https://github.com/calc-cmu/pre-calc で入手できます。

要約(オリジナル)

Quantitative and numerical comprehension in language is an important task in many fields like education and finance, but still remains a challenging task for language models. While tool and calculator usage has shown to be helpful to improve mathematical reasoning in large pretrained decoder-only language models, this remains unexplored for smaller language models with encoders. In this paper, we propose Pre-Calc, a simple pre-finetuning objective of learning to use the calculator for both encoder-only and encoder-decoder architectures, formulated as a discriminative and generative task respectively. We pre-train BERT and RoBERTa for discriminative calculator use and Flan-T5 for generative calculator use on the MAWPS, SVAMP, and AsDiv-A datasets, which improves performance on downstream tasks that require numerical understanding. Our code and data are available at https://github.com/calc-cmu/pre-calc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google