SpaceByte: Towards Deleting Tokenization from Large Language Modeling

要約

トークン化はパフォーマンスを大幅に向上させるため、大規模な言語モデルで広く使用されています。
ただし、トークン化には、パフォーマンスの偏り、敵対的脆弱性の増加、キャラクターレベルのモデリングパフォーマンスの低下、モデリングの複雑さの増加など、いくつかの欠点が生じます。
パフォーマンスを犠牲にすることなくこれらの欠点に対処するために、バイトレベルとサブワードの自己回帰言語モデリング間のパフォーマンスのギャップを埋める新しいバイトレベルのデコーダアーキテクチャである SpaceByte を提案します。
SpaceByte はバイトレベルの Transformer モデルで構成されていますが、層の中央に非常に大きな Transformer ブロックが挿入されています。
これらの大きなブロックを、通常は単語の境界を示すスペース文字などの特定のバイトの後にのみ適用することで、パフォーマンスが大幅に向上することがわかりました。
私たちの実験では、トレーニングと推論の計算量が固定されている場合、SpaceByte が他のバイトレベルのアーキテクチャを上回り、トークン化された Transformer アーキテクチャのパフォーマンスにほぼ匹敵することがわかりました。

要約(オリジナル)

Tokenization is widely used in large language models because it significantly improves performance. However, tokenization imposes several disadvantages, such as performance biases, increased adversarial vulnerability, decreased character-level modeling performance, and increased modeling complexity. To address these disadvantages without sacrificing performance, we propose SpaceByte, a novel byte-level decoder architecture that closes the performance gap between byte-level and subword autoregressive language modeling. SpaceByte consists of a byte-level Transformer model, but with extra larger transformer blocks inserted in the middle of the layers. We find that performance is significantly improved by applying these larger blocks only after certain bytes, such as space characters, which typically denote word boundaries. Our experiments show that for a fixed training and inference compute budget, SpaceByte outperforms other byte-level architectures and roughly matches the performance of tokenized Transformer architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google