Calc-X and Calcformers: Empowering Arithmetical Chain-of-Thought through Interaction with Symbolic Systems

要約

言語モデルは多くのタスクで優れたパフォーマンスを発揮しますが、算術計算を必要とするタスクでは事実誤認を犯す傾向があることで知られています。
私たちは、推論チェーンにおける電卓の適切な使用法を示すデータセットのコレクションである Calc-X を作成することで、この欠陥に対処します。
Calc-X は、言語モデルに計算をシンボリック システムにオフロードするよう教えるのに適しています。
私たちは、いくつかの既存の思考連鎖データセットを調査し、提案された形式に統合し、算術推論を必要とする 300,000 を超えるサンプルの標準コレクションを作成しました。
最後に、新しい Calc-X コレクションを使用して、Calcformers と呼ばれるオープンソースの電卓を使用したモデルをトレーニングし、これらのモデルがバニラ言語モデルのベースラインと比較して正しい結果を生成する精度が約 2 倍であることを示します。
すべての Calc-X データセット、ソース コード、および Calcformers モデルを公開しています。

要約(オリジナル)

Despite outstanding performance in many tasks, language models are notoriously inclined to make factual errors in tasks requiring arithmetic computation. We address this deficiency by creating Calc-X, a collection of datasets that demonstrates the appropriate use of a calculator in reasoning chains. Calc-X is suitable for teaching language models to offload computations to a symbolic system. We survey and unify several existing chain-of-thought datasets into a proposed format, resulting in a standard collection of over 300,000 samples requiring arithmetic reasoning. Finally, we use the new Calc-X collection to train open-source calculator-using models we call Calcformers and show that these models approximately double the accuracy of generating correct results compared to vanilla language model baselines. We make all Calc-X datasets, source code and Calcformers models publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google