Understanding Transformers via N-gram Statistics

要約

Transformer ベースの大規模言語モデル (LLM) は言語に非常に習熟していますが、その仕組みを正確に理解することは依然として困難です。
トランスフォーマーの予測をわかりやすく説明する 1 つの方法は、トランスフォーマーの予測がコンテキストにどのように依存するかを単純なテンプレート関数の観点から説明することです。
この論文は、トレーニング データの単純な N グラム ベースの統計から形成された関数ファミリー (つまり、ルール) を検討することによって、この方向への最初の一歩を踏み出します。
これらのルールセットが変圧器の予測にどの程度近似しているかを研究することで、さまざまな新しい発見が得られます。ホールドアウト セットを使用せずにトレーニング中に過学習を検出する簡単な方法、コース全体で変圧器が単純な統計ルールの学習からより複雑な統計ルールへどのように進行するかを定量的に測定する方法などです。
トレーニングの効果、トランスフォーマーの予測が N グラム ルールによって記述される傾向がある場合を管理するモデル分散基準、およびルールセットがますます複雑になる限界内でトランスフォーマーが N グラム ルールセットによってどの程度うまく近似できるかについての洞察。
後者の方向では、TinyStories と Wikipedia の LLM ネクスト トークン分布の 79% と 68% で、上位 1 の予測が N グラム ルールセットによって提供される予測と一致することがわかりました。

要約(オリジナル)

Transformer based large-language models (LLMs) display extreme proficiency with language yet a precise understanding of how they work remains elusive. One way of demystifying transformer predictions would be to describe how they depend on their context in terms of simple template functions. This paper takes a first step in this direction by considering families of functions (i.e. rules) formed out of simple N-gram based statistics of the training data. By studying how well these rulesets approximate transformer predictions, we obtain a variety of novel discoveries: a simple method to detect overfitting during training without using a holdout set, a quantitative measure of how transformers progress from learning simple to more complex statistical rules over the course of training, a model-variance criterion governing when transformer predictions tend to be described by N-gram rules, and insights into how well transformers can be approximated by N-gram rulesets in the limit where these rulesets become increasingly complex. In this latter direction, we find that for 79% and 68% of LLM next-token distributions on TinyStories and Wikipedia, respectively, their top-1 predictions agree with those provided by our N-gram rulesets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google