Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures

要約

大規模な言語モデル（LLMS）の推論能力は、チェーンオブ考え（COT）プロンプトで改善され、モデルが複雑なタスクを段階的に解決できるようになりました。
ただし、COT機能をトレーニングするには、詳細な推論データが必要であり、しばしば不足しています。
独学の推論（STAR）フレームワークは、強化学習を使用して推論ステップを自動的に生成し、人間標識データへの依存を減らすことにより、これに対処します。
Starとそのバリエーションは経験的な成功を実証していますが、これらの改善を説明する理論的基盤は不足しています。
大規模な言語モデル（LLM）は、主に思考の連鎖（COT）プロンプトによって駆動される顕著な数学的能力を実証しており、複雑な推論を段階的なソリューションに分解します。
ただし、COTの単一のステップで算術を実行するLLMSの能力の根底にあるメカニズムは、よく理解されていないままです。
この作業では、LLMSが通勤やアイデンティティの特性などの代数構造をキャプチャすることにより、算術を学習することを提案します。
これらの構造は、入出力関係を通じて観察可能であるため、目に見えないデータに一般化できます。
LLMSは、算術問題のカスタムデータセットを使用して代数構造を学習できることを経験的に実証し、重みとバイアスの特定の構成の下で、トランスベースのLLMが入力トークンの順列とアイデンティティ要素の存在の両方に不変のままであることを示す理論的証拠を提供します。
私たちの調査結果は、代数構造を活用することでLLMSの算術能力を高め、算術性能の向上に関する洞察を提供できることを示しています。

要約(オリジナル)

The reasoning abilities of large language models (LLMs) have improved with chain-of-thought (CoT) prompting, allowing models to solve complex tasks stepwise. However, training CoT capabilities requires detailed reasoning data, which is often scarce. The self-taught reasoner (STaR) framework addresses this by using reinforcement learning to automatically generate reasoning steps, reducing reliance on human-labeled data. Although STaR and its variants have demonstrated empirical success, a theoretical foundation explaining these improvements is lacking. Large language models (LLMs) have demonstrated remarkable mathematical capabilities, largely driven by chain-of-thought (CoT) prompting, which decomposes complex reasoning into step-by-step solutions. However, the mechanisms underlying LLMs’ ability to perform arithmetic in a single step of CoT remain poorly understood. In this work, we propose that LLMs learn arithmetic by capturing algebraic structures, such as commutativity and identity properties. Since these structures are observable through input-output relationships, they can generalize to unseen data. We empirically demonstrate that LLMs can learn algebraic structures using a custom dataset of arithmetic problems, as well as providing theoretical evidence showing that, under specific configurations of weights and biases, the transformer-based LLMs can generate embeddings that remain invariant to both permutations of input tokens and the presence of identity elements. Our findings indicate that leveraging algebraic structures can enhance the LLMs’ arithmetic capabilities, offering insights into improving their arithmetic performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google