要約
線形回帰は、長いシーケンスを効率的にモデル化するための強力なツールであることが証明されている。本研究では、既存のモデルがその可能性を十分に活用できていないことを示す。この発見に動機づけられ、我々は、データ制御された状態遷移を採用することで、S4、S5、LRU、RetNetなどの線形再帰モデルを一般化する、基礎的なシーケンスモデルであるGateLoopを開発する。この理論的進歩を利用することで、GateLoopは経験的に自動回帰言語モデリングのための既存のモデルを凌駕する。本手法は、低コストの$O(l)$リカレントモードと、高度に最適化された連想スキャンの実装を利用した効率的な$O(l \log_{2} l)$並列モードを備えている。さらに、$O(l^2)$の代理注意モードを導出し、Transformerや最近提案されたアーキテクチャに対する顕著な意味を明らかにする。特に、我々のアプローチは、データ制御された相対位置情報をアテンションに提供すると解釈できることを証明する。既存の多くのモデルがコンテキスト集約のためにデータ制御された累積和のみに依存しているのに対し、我々の発見は、データ制御された複雑な累積積を取り入れることが、より強力なシーケンスモデルへの重要な一歩となる可能性を示唆している。
要約(オリジナル)
Linear Recurrence has proven to be a powerful tool for modeling long sequences efficiently. In this work, we show that existing models fail to take full advantage of its potential. Motivated by this finding, we develop GateLoop, a foundational sequence model that generalizes linear recurrent models such as S4, S5, LRU and RetNet, by employing data-controlled state transitions. Utilizing this theoretical advance, GateLoop empirically outperforms existing models for auto-regressive language modeling. Our method comes with a low-cost $O(l)$ recurrent mode and an efficient $O(l \log_{2} l)$ parallel mode making use of highly optimized associative scan implementations. Furthermore, we derive an $O(l^2)$ surrogate attention mode, revealing remarkable implications for Transformer and recently proposed architectures. Specifically, we prove that our approach can be interpreted as providing data-controlled relative-positional information to Attention. While many existing models solely rely on data-controlled cumulative sums for context aggregation, our findings suggest that incorporating data-controlled complex cumulative products may be a crucial step towards more powerful sequence models.
arxiv情報
| 著者 | Tobias Katsch |
| 発行日 | 2023-11-03 14:08:39+00:00 |
| arxivサイト | arxiv_id(pdf) |