Autoregressive + Chain of Thought $\simeq$ Recurrent: Recurrence’s Role in Language Models’ Computability and a Revisit of Recurrent Transformer

要約

Transformer アーキテクチャは、さまざまな言語モデリング タスクに優れており、RNN や LSTM などの従来のニューラル アーキテクチャを上回ります。
これは、再帰的な接続が排除され、並列トレーニングとよりスムーズな勾配の流れが可能になることが部分的に原因です。
ただし、この反復構造からの移行により、Transformer モデルはチョムスキーの計算階層の下位に配置され、その計算能力に制限が課せられます。
したがって、高度な Transformer ベースのモデルでも、カウント、文字列の反転、乗算などのタスクではかなりの困難に直面します。
これらのタスクは一見初歩的ですが、Transformer アーキテクチャの能力を超えるレベルの計算の複雑さを必要とします。
同時に、「思考連鎖」(CoT) プロンプトの出現により、Transformer ベースの言語モデルは、以前は不可能だった、または実行が不十分だったタスクに取り組むことができるようになりました。
この研究では、ニューラル モデルの推論能力と計算能力に対するニューラル モデルの反復構造の影響を徹底的に調査し、ニューラル モデルの計算能力において自己回帰が果たす役割を対比させます。
次に、CoT アプローチがどのように再帰計算を模倣し、言語モデルのコンテキストで自己回帰と再帰の間の橋渡しとして機能するかを明らかにします。
この近似再帰により、モデルのパフォーマンスと計算能力が著しく向上します。
さらに、私たちが提案する「再帰完全性」の概念を通じてその計算能力に焦点を当て、最近の再帰ベースの Transformer モデル設計を再検討し、Linear Transformer や RWKV などのモデルにおける主要な理論的制限を特定します。
これを通じて、ニューラル モデル アーキテクチャに関する洞察を提供し、より良いモデル設計を促すことを目指しています。

要約(オリジナル)

The Transformer architecture excels in a variety of language modeling tasks, outperforming traditional neural architectures such as RNN and LSTM. This is partially due to its elimination of recurrent connections, which allows for parallel training and a smoother flow of gradients. However, this move away from recurrent structures places the Transformer model at the lower end of Chomsky’s computational hierarchy, imposing limitations on its computational abilities. Consequently, even advanced Transformer-based models face considerable difficulties in tasks like counting, string reversal, and multiplication. These tasks, though seemingly elementary, require a level of computational complexity that exceeds the capabilities of the Transformer architecture. Concurrently, the emergence of “Chain of Thought’ (CoT) prompting has enabled Transformer-based language models to tackle tasks that were previously impossible or poorly executed. In this work, we thoroughly investigate the influence of recurrent structures in neural models on their reasoning abilities and computability, contrasting the role autoregression plays in the neural models’ computational power. We then shed light on how the CoT approach can mimic recurrent computation and act as a bridge between autoregression and recurrence in the context of language models. It is this approximated recurrence that notably improves the model’s performance and computational capacity. Moreover, we revisit recent recurrent-based Transformer model designs, focusing on their computational abilities through our proposed concept of “recurrence-completeness’ and identify key theoretical limitations in models like Linear Transformer and RWKV. Through this, we aim to provide insight into the neural model architectures and prompt better model design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google