Transformers Learn Shortcuts to Automata

要約

タイトル：Transformers Learn Shortcuts to Automata

要約：
– アルゴリズム的な推論は、チューリングマシンのような再帰モデルを介して自然に理解できる能力が必要である。
– しかし、再帰的でないTransformerモデルは、推論のステップ数よりもはるかに少ない層を使用してそのような推論を実行できる。
– これは、これらの浅い非再帰モデルがどのような解決策を学習するのかという疑問を呼び起こす。
– 実験結果により、深さの低いTransformerは、階層的再パラメータ化により、すべての有限状態オートマトン（つまり、すべての境界メモリアルゴリズム）の計算を表現できることがわかった。
– 理論的結果により、Transformerは$o(T)$レイヤーで、$T$長さの入力シーケンスにアウトマトンの計算を正確に複製できるショートカットソリューションを特徴付けた。
– 経験的には、さまざまなオートマトンをシミュレートするためにTransformerをトレーニングし、ショートカットソリューションが標準トレーニングによって学習できることを示した。
– さらに、これらのソリューションの脆弱性を調べ、緩和策を提案した。

要約(オリジナル)

Algorithmic reasoning requires capabilities which are most naturally understood through recurrent models of computation, like the Turing machine. However, Transformer models, while lacking recurrence, are able to perform such reasoning using far fewer layers than the number of reasoning steps. This raises the question: what solutions are learned by these shallow and non-recurrent models? We find that a low-depth Transformer can represent the computations of any finite-state automaton (thus, any bounded-memory algorithm), by hierarchically reparameterizing its recurrent dynamics. Our theoretical results characterize shortcut solutions, whereby a Transformer with $o(T)$ layers can exactly replicate the computation of an automaton on an input sequence of length $T$. We find that polynomial-sized $O(\log T)$-depth solutions always exist; furthermore, $O(1)$-depth simulators are surprisingly common, and can be understood using tools from Krohn-Rhodes theory and circuit complexity. Empirically, we perform synthetic experiments by training Transformers to simulate a wide variety of automata, and show that shortcut solutions can be learned via standard training. We further investigate the brittleness of these solutions and propose potential mitigations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI