Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

要約

n$-gram言語モデルは、ニューラル大規模言語モデル(LLM)の時代において、まだ意味があるのだろうか？我々の答えはイエスであり、テキスト解析とニューラルLLMの改良の両方においてその価値を示す。これは$n$-gram LMを2つの側面から現代化することで実現した。第一に、ニューラルLLMと同じデータスケール、5兆トークンで訓練する。これは$n$-gram LMとしては最大規模である。第二に、既存の$n$-gram LMは小さな$n$を用いており、これが性能の妨げとなっている。我々はその代わりに、バックオフを用いた新しい$infty$-gram LMを導入することで、$n$を任意に大きくできるようにする。n$-gramカウントテーブルを事前に計算する代わりに（これは非常に高価である）、接尾辞配列を動力源とするinfini-gramというエンジンを開発し、ミリ秒レベルの待ち時間で$infini-gram（任意の$n$-gramも同様）の確率を計算できる。この$ininfty$-gramフレームワークとinfini-gramエンジンにより、人間が書いたテキストと機械が生成したテキストの多くの斬新で興味深い分析を行うことができる。我々は、$infty$-gram LMがネクストトークン予測においてかなり高い精度（47%）を持ち、ニューラルLLMを補完して、その当惑度を大幅に低減できることを発見した。機械生成テキストを分析するとき、接尾辞の長さに対する機械–$infty$-gram一致度の不規則性も観察され、これはニューラルLLMの事前学習とTransformersの位置埋め込みに欠陥があることを示している。

要約(オリジナル)

Are $n$-gram language models still relevant in this era of neural large language models (LLMs)? Our answer is yes, and we showcase their values in both text analysis and improving neural LLMs. This was done by modernizing $n$-gram LMs in two aspects. First, we train them at the same data scale as neural LLMs — 5 trillion tokens. This is the largest $n$-gram LM ever built. Second, existing $n$-gram LMs use small $n$ which hinders their performance; we instead allow $n$ to be arbitrarily large, by introducing a new $\infty$-gram LM with backoff. Instead of pre-computing $n$-gram count tables (which would be very expensive), we develop an engine named infini-gram — powered by suffix arrays — that can compute $\infty$-gram (as well as $n$-gram with arbitrary $n$) probabilities with millisecond-level latency. The $\infty$-gram framework and infini-gram engine enable us to conduct many novel and interesting analyses of human-written and machine-generated text: we find that the $\infty$-gram LM has fairly high accuracy for next-token prediction (47%), and can complement neural LLMs to greatly reduce their perplexity. When analyzing machine-generated text, we also observe irregularities in the machine–$\infty$-gram agreement level with respect to the suffix length, which indicates deficiencies in neural LLM pretraining and the positional embeddings of Transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL