How Well Can Transformers Emulate In-context Newton’s Method?

要約

トランスフォーマーベースのモデルは、優れたコンテキスト内学習機能を実証しており、その基礎となるメカニズムに関する広範な研究が促されています。
最近の研究では、Transformers がコンテキスト内学習用に 1 次最適化アルゴリズムを実装できること、さらには線形回帰の場合には 2 次最適化アルゴリズムを実装できることが示唆されています。
この研究では、Transformer が線形回帰の場合を超えた高次の最適化手法を実行できるかどうかを研究します。
ReLU 層を備えた線形アテンション トランスフォーマーは、ロジスティック回帰タスクの 2 次最適化アルゴリズムを近似し、より多くの層の誤差の対数だけで $\epsilon$ 誤差を達成できることを確立します。
副産物として、わずか 2 つの層で逆行列のニュートン反復の 1 ステップを実装する線形アテンションのみのトランスフォーマーの能力を実証します。
これらの結果は、Transformer アーキテクチャが勾配降下法を超えた複雑なアルゴリズムを実装できることを示唆しています。

要約(オリジナル)

Transformer-based models have demonstrated remarkable in-context learning capabilities, prompting extensive research into its underlying mechanisms. Recent studies have suggested that Transformers can implement first-order optimization algorithms for in-context learning and even second order ones for the case of linear regression. In this work, we study whether Transformers can perform higher order optimization methods, beyond the case of linear regression. We establish that linear attention Transformers with ReLU layers can approximate second order optimization algorithms for the task of logistic regression and achieve $\epsilon$ error with only a logarithmic to the error more layers. As a by-product we demonstrate the ability of even linear attention-only Transformers in implementing a single step of Newton’s iteration for matrix inversion with merely two layers. These results suggest the ability of the Transformer architecture to implement complex algorithms, beyond gradient descent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google