Future Lens: Anticipating Subsequent Tokens from a Single Hidden State

要約

個々の入力トークンに対応する隠れ状態ベクトルは、数個先のトークンを正確に予測するのに十分な情報をエンコードしていると推測します。
より具体的には、この論文では、入力内の位置 $t$ にある単一のトークンの隠れた (内部) 表現が与えられた場合、位置 $\geq t + 2$ に現れるトークンを確実に予測できるか、と尋ねます。
これをテストするために、GPT-J-6B で線形近似と因果的介入手法を測定し、ネットワーク内の個々の隠れ状態に将来の隠れ状態、そして最終的にはトークン出力を予測するのに十分な信号がどの程度含まれているかを評価します。
いくつかの層では、単一の隠れ状態を通じて後続のトークンの予測に関して 48% 以上の精度でモデルの出力を近似できることがわかりました。
最後に、これらのメソッドを使用してトランス状態の新しいビューを作成する「Future Lens」視覚化を紹介します。

要約(オリジナル)

We conjecture that hidden state vectors corresponding to individual input tokens encode information sufficient to accurately predict several tokens ahead. More concretely, in this paper we ask: Given a hidden (internal) representation of a single token at position $t$ in an input, can we reliably anticipate the tokens that will appear at positions $\geq t + 2$? To test this, we measure linear approximation and causal intervention methods in GPT-J-6B to evaluate the degree to which individual hidden states in the network contain signal rich enough to predict future hidden states and, ultimately, token outputs. We find that, at some layers, we can approximate a model’s output with more than 48% accuracy with respect to its prediction of subsequent tokens through a single hidden state. Finally we present a ‘Future Lens’ visualization that uses these methods to create a new view of transformer states.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google