Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics

要約

大規模言語モデル (LLM) は、堅牢な一般化可能なアルゴリズムを学習することで推論タスクを解決しますか? それともトレーニング データを記憶しますか?
この疑問を調べるために、代表的なタスクとして算術推論を使用します。
因果関係分析を使用して、基本的な算術論理に対するモデルの動作のほとんどを説明するモデルのサブセット (回路) を特定し、その機能を検査します。
個々の回路ニューロンのレベルにズームインすると、単純なヒューリスティックを実装する重要なニューロンのまばらなセットが見つかります。
各ヒューリスティックは数値入力パターンを識別し、対応する回答を出力します。
私たちは、これらのヒューリスティック ニューロンの組み合わせが、正しい算術答えを生成するために使用されるメカニズムであると仮説を立てます。
これをテストするために、各ニューロンをいくつかのヒューリスティック タイプ (オペランドが特定の範囲内にあるときにアクティブになるニューロンなど) に分類し、これらのヒューリスティック タイプの順序付けされていない組み合わせが、算術プロンプトにおけるモデルの精度のほとんどを説明するメカニズムであることを発見しました。
。
最後に、このメカニズムがトレーニングの初期段階での算術精度の主な源として現れることを示します。
全体として、いくつかの LLM にわたる実験結果は、LLM が堅牢なアルゴリズムや記憶を使用せずに演算を実行することを示しています。
むしろ、彼らは「ヒューリスティックの袋」に依存しています。

要約(オリジナル)

Do large language models (LLMs) solve reasoning tasks by learning robust generalizable algorithms, or do they memorize training data? To investigate this question, we use arithmetic reasoning as a representative task. Using causal analysis, we identify a subset of the model (a circuit) that explains most of the model’s behavior for basic arithmetic logic and examine its functionality. By zooming in on the level of individual circuit neurons, we discover a sparse set of important neurons that implement simple heuristics. Each heuristic identifies a numerical input pattern and outputs corresponding answers. We hypothesize that the combination of these heuristic neurons is the mechanism used to produce correct arithmetic answers. To test this, we categorize each neuron into several heuristic types-such as neurons that activate when an operand falls within a certain range-and find that the unordered combination of these heuristic types is the mechanism that explains most of the model’s accuracy on arithmetic prompts. Finally, we demonstrate that this mechanism appears as the main source of arithmetic accuracy early in training. Overall, our experimental results across several LLMs show that LLMs perform arithmetic using neither robust algorithms nor memorization; rather, they rely on a ‘bag of heuristics’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google