How do Transformers perform In-Context Autoregressive Learning?

要約

Transformers は、言語モデリング タスクにおいて最先端のパフォーマンスを達成しました。
しかし、彼らの驚異的な成功の背後にある理由はまだ不明です。
この論文では、理解を深めるために、単純な次のトークン予測タスクで Transformer モデルをトレーニングします。このタスクでは、シーケンスが一次自己回帰プロセス $s_{t+1} = W s_t$ として生成されます。
最初にコンテキスト内で $W$ を学習し、次に予測マッピングを適用することで、トレーニング済みの Transformer が次のトークンを予測する方法を示します。
結果として得られる手順をコンテキスト内自己回帰学習と呼びます。
より正確には、可換直交行列 $W$ に焦点を当て、拡張トークンを考慮する場合、訓練された 1 層線形 Transformer が内部目的関数の最小化のために勾配降下法を 1 ステップ実装することを最初に示します。
トークンが拡張されていない場合、1 層の対角線形マルチヘッド トランスフォーマーの大域的最小値を特徴付けます。
重要なのは、ヘッド間の直交性を示し、位置エンコーディングがデータ内の三角関係を捉えていることを示していることです。
実験面では、非可換直交行列の一般的なケースを検討し、理論的発見を一般化します。

要約(オリジナル)

Transformers have achieved state-of-the-art performance in language modeling tasks. However, the reasons behind their tremendous success are still unclear. In this paper, towards a better understanding, we train a Transformer model on a simple next token prediction task, where sequences are generated as a first-order autoregressive process $s_{t+1} = W s_t$. We show how a trained Transformer predicts the next token by first learning $W$ in-context, then applying a prediction mapping. We call the resulting procedure in-context autoregressive learning. More precisely, focusing on commuting orthogonal matrices $W$, we first show that a trained one-layer linear Transformer implements one step of gradient descent for the minimization of an inner objective function, when considering augmented tokens. When the tokens are not augmented, we characterize the global minima of a one-layer diagonal linear multi-head Transformer. Importantly, we exhibit orthogonality between heads and show that positional encoding captures trigonometric relations in the data. On the experimental side, we consider the general case of non-commuting orthogonal matrices and generalize our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google