OccamLLM: Fast and Exact Language Model Arithmetic in a Single Step

要約

テキストの生成と推論が大幅に進歩したにもかかわらず、大規模言語モデル (LLM) は複雑な算術演算を正確に実行するという課題に依然として直面しています。
正確な計算を実現するために、言語モデル システムでは、LLM が算術演算用のコードを生成できるようにすることがよくあります。
ただし、このアプローチでは速度とセキュリティが犠牲になり、微調整が必​​要な場合は言語モデルが以前の機能を失う危険があります。
私たちは、 \textit{単一の自己回帰ステップ} での正確な演算を可能にし、より高速で、より安全で、より解釈可能な演算機能を備えた LLM システムを提供するフレームワークを提案します。
LLM の隠れ状態を使用して、算術演算を実行するシンボリック アーキテクチャを制御します。
シンボリック モデルとして OccamNet を使用した Llama 3 8B Instruct (OccamLlama) を使用した実装では、単一の算術演算 ($+,-,\times,\div,\sin{},\cos{},\log{) で 100\% の精度を達成しました。
},\exp{},\sqrt{}$)、GPT 4o を上回り、コード インタプリタを使用した場合は GPT 4o と同等のパフォーマンスを発揮します。
また、OccamLlama は、困難な算術を伴う数学的問題解決ベンチマークにおいて、コード インタプリタの有無にかかわらず GPT 4o よりも優れたパフォーマンスを発揮するため、小規模な LLM がさらに大規模なモデルの算術パフォーマンスに匹敵することが可能になります。
コードは近々公開する予定です。

要約(オリジナル)

Despite significant advancements in text generation and reasoning, Large Language Models (LLMs) still face challenges in accurately performing complex arithmetic operations. To achieve accurate calculations, language model systems often enable LLMs to generate code for arithmetic operations. However, this approach compromises speed and security and, if finetuning is involved, risks the language model losing prior capabilities. We propose a framework that enables exact arithmetic in \textit{a single autoregressive step}, providing faster, more secure, and more interpretable LLM systems with arithmetic capabilities. We use the hidden states of an LLM to control a symbolic architecture which performs arithmetic. Our implementation using Llama 3 8B Instruct with OccamNet as a symbolic model (OccamLlama) achieves 100\% accuracy on single arithmetic operations ($+,-,\times,\div,\sin{},\cos{},\log{},\exp{},\sqrt{}$), outperforming GPT 4o and on par with GPT 4o using a code interpreter. OccamLlama also outperforms GPT 4o both with and without a code interpreter on mathematical problem solving benchmarks involving challenging arithmetic, thus enabling small LLMs to match the arithmetic performance of even much larger models. We will make our code public shortly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google