Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics

要約

大規模な言語モデル（LLMS）は、堅牢な一般化可能なアルゴリズムを学習することにより、推論タスクを解決しますか、それともトレーニングデータを記憶していますか？
この質問を調査するために、代表的なタスクとして算術推論を使用します。
因果分析を使用して、モデルの基本的な算術ロジックの動作のほとんどを説明し、その機能を調べるモデル（回路）のサブセットを特定します。
個々の回路ニューロンのレベルをズームインすることにより、単純なヒューリスティックを実装する重要なニューロンのまばらなセットを発見します。
各ヒューリスティックは、数値入力パターンを識別し、対応する回答を出力します。
これらのヒューリスティックニューロンの組み合わせは、正しい算術答えを生成するために使用されるメカニズムであると仮定します。
これをテストするために、各ニューロンを、オペランドが特定の範囲内に収まるときに活性化するニューロンなど、いくつかのヒューリスティックなタイプに分類し、これらのヒューリスティックタイプの秩序化されていない組み合わせが、算術プロンプトでのモデルの精度のほとんどを説明するメカニズムであることがわかります。
最後に、このメカニズムがトレーニングの早い段階で算術精度の主な原因として表示されることを実証します。
全体として、いくつかのLLMにわたる実験結果は、LLMが堅牢なアルゴリズムも暗記も使用しない算術を実行することを示しています。
むしろ、彼らは「ヒューリスティックの袋」に依存しています。

要約(オリジナル)

Do large language models (LLMs) solve reasoning tasks by learning robust generalizable algorithms, or do they memorize training data? To investigate this question, we use arithmetic reasoning as a representative task. Using causal analysis, we identify a subset of the model (a circuit) that explains most of the model’s behavior for basic arithmetic logic and examine its functionality. By zooming in on the level of individual circuit neurons, we discover a sparse set of important neurons that implement simple heuristics. Each heuristic identifies a numerical input pattern and outputs corresponding answers. We hypothesize that the combination of these heuristic neurons is the mechanism used to produce correct arithmetic answers. To test this, we categorize each neuron into several heuristic types-such as neurons that activate when an operand falls within a certain range-and find that the unordered combination of these heuristic types is the mechanism that explains most of the model’s accuracy on arithmetic prompts. Finally, we demonstrate that this mechanism appears as the main source of arithmetic accuracy early in training. Overall, our experimental results across several LLMs show that LLMs perform arithmetic using neither robust algorithms nor memorization; rather, they rely on a ‘bag of heuristics’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google