xVal: A Continuous Number Encoding for Large Language Models

要約

大規模言語モデルは、数値をトークン化する特有の難しさのせいで、科学データセットの分析にはまだ広く適応されていません。
私たちは、単一のトークンを使用して任意の実数を表す数値エンコード方式である xVal を提案します。
xVal は、専用の埋め込みベクトルを数値でスケーリングすることにより、指定された実数を表します。
この戦略は、修正された数値推論アプローチと組み合わせることで、入力文字列の数値から出力文字列の数値へのマップとして考慮された場合に、モデルをエンドツーエンドで連続的にレンダリングします。
これにより、一般に科学分野でのアプリケーションにより適した誘導バイアスが生じます。
私たちは、多数の合成データセットと現実世界のデータセットに関する提案を経験的に評価します。
既存の数値エンコーディング スキームと比較すると、xVal はトークン効率が高く、一般化が向上していることがわかります。

要約(オリジナル)

Large Language Models have not yet been broadly adapted for the analysis of scientific datasets due in part to the unique difficulties of tokenizing numbers. We propose xVal, a numerical encoding scheme that represents any real number using just a single token. xVal represents a given real number by scaling a dedicated embedding vector by the number value. Combined with a modified number-inference approach, this strategy renders the model end-to-end continuous when considered as a map from the numbers of the input string to those of the output string. This leads to an inductive bias that is generally more suitable for applications in scientific domains. We empirically evaluate our proposal on a number of synthetic and real-world datasets. Compared with existing number encoding schemes, we find that xVal is more token-efficient and demonstrates improved generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google