Language Models Encode Numbers Using Digit Representations in Base 10

要約

大規模言語モデル (LLM) では、2 つの小さな数値を比較するなど、単純な数値問題を処理する場合でも、頻繁にエラーが発生します。
これらの誤差は、LLM が数値を表現する方法、具体的には、LLM の数値表現が数値を捕捉するかどうかに起因すると考えるのが自然な仮説です。
私たちは、数値タスクにおける LLM エラーが、通常 \textit{その数値} の周りではなく、答えの \textit{数字} 全体に分布していることが多いという観察からこの問題に取り組みます。
一連の精査実験と因果的介入を通じて、LLM が内部的に 10 進数の桁ごとの個別の循環表現で数値を表現していることを示します。この桁ごとの表現は、値表現とは対照的に、モデルのエラー パターンを明らかにします。
数値的推論を伴うタスクであり、LLM の数値メカニズムの分析に関する将来の研究の基礎として役立つ可能性があります。

要約(オリジナル)

Large language models (LLMs) frequently make errors when handling even simple numerical problems, such as comparing two small numbers. A natural hypothesis is that these errors stem from how LLMs represent numbers, and specifically, whether their representations of numbers capture their numeric values. We tackle this question from the observation that LLM errors on numerical tasks are often distributed across \textit{the digits} of the answer rather than normally around \textit{its numeric value}. Through a series of probing experiments and causal interventions, we show that LLMs internally represent numbers with individual circular representations per-digit in base 10. This digit-wise representation, as opposed to a value representation, sheds light on the error patterns of models on tasks involving numerical reasoning and could serve as a basis for future studies on analyzing numerical mechanisms in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google