Pre-trained Language Models Learn Remarkably Accurate Representations of Numbers

要約

前処理された言語モデル（LMS）は、算術エラーを発生しやすいです。
既存の作業は、モデルの表現から数値を調査することで限られた成功を示し、これらのエラーは、正確な量を表す際に分布する埋め込みの固有の信頼性に起因する可能性があることを示しています。
ただし、以前の調査方法は、正弦波パターンを備えた学習数埋め込みの出現構造には不十分であることがわかります。
これに応じて、オープンソースのLMSの範囲でほぼ完璧な精度で入力埋め込みから数値を解読する新しい調査手法を提案します。
これは、唯一の事前トレーニングの後、LMSが顕著な精度で数字を表していることを証明しています。
最後に、プローブの精度によって判断される埋め込みの正確さは、基本算術におけるLMの誤差の大部分を説明し、プローブによって発見されたパターンに埋め込みを合わせると、これらのエラーを軽減できることを示しています。

要約(オリジナル)

Pretrained language models (LMs) are prone to arithmetic errors. Existing work showed limited success in probing numeric values from models’ representations, indicating that these errors can be attributed to the inherent unreliability of distributionally learned embeddings in representing exact quantities. However, we observe that previous probing methods are inadequate for the emergent structure of learned number embeddings with sinusoidal patterns. In response, we propose a novel probing technique that decodes numeric values from input embeddings with near-perfect accuracy across a range of open-source LMs. This proves that after the sole pre-training, LMs represent numbers with remarkable precision. Finally, we find that the embeddings’ preciseness judged by our probe’s accuracy explains a large portion of LM’s errors in elementary arithmetic, and show that aligning the embeddings with the pattern discovered by our probe can mitigate these errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google