From Bytes to Ideas: Language Modeling with Autoregressive U-Nets

要約

トークン化は、入力テキストに固定された粒度を課し、言語モデルがデータでどのように動作するか、将来どの程度予測するかを凍結します。
バイトペアエンコード（BPE）と同様のスキームはテキストを一度分割し、静的な語彙を構築し、モデルをその選択に固執したままにします。
私たちは、訓練中に独自のトークンを埋め込むことを学ぶ自己回帰のu-netを導入することにより、この剛性を緩和します。
ネットワークは、生のバイトを読み取り、単語にプールし、次に単語のペアをペアし、最大4語でシーケンスのマルチスケールビューを提供します。
より深い段階では、モデルは次のバイトではなく次のいくつかの単語を予測する未来をさらに予測する必要があります。
浅い階層を慎重に調整して制御すると、浅い階層が強力なBPEベースラインを結び、より深い階層には有望な傾向があります。
トークン化は現在モデル内にあるため、同じシステムが文字レベルのタスクを処理し、低リソース言語で知識を運ぶことができます。

要約(オリジナル)

Tokenization imposes a fixed granularity on the input text, freezing how a language model operates on data and how far in the future it predicts. Byte Pair Encoding (BPE) and similar schemes split text once, build a static vocabulary, and leave the model stuck with that choice. We relax this rigidity by introducing an autoregressive U-Net that learns to embed its own tokens as it trains. The network reads raw bytes, pools them into words, then pairs of words, then up to 4 words, giving it a multi-scale view of the sequence. At deeper stages, the model must predict further into the future — anticipating the next few words rather than the next byte — so deeper stages focus on broader semantic patterns while earlier stages handle fine details. When carefully tuning and controlling pretraining compute, shallow hierarchies tie strong BPE baselines, and deeper hierarchies have a promising trend. Because tokenization now lives inside the model, the same system can handle character-level tasks and carry knowledge across low-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google