Hungry Hungry Hippos: Towards Language Modeling with State Space Models

要約

タイトル：Hungry Hungry Hippos：状態空間モデルを用いた言語モデリングへ向けて

要約：
– 状態空間モデル（SSM）は、いくつかのモダリティで最先端のシーケンスモデリング性能を示しているが、言語モデリングでは注意メカニズムに劣る。また、シーケンスの長さにほぼ線形にスケーリングするにもかかわらず、SSMはハードウェアの利用状況が悪いため、トランスフォーマーに比べて遅い。
– 著者たちは、SSMと注意メカニズムの表現能力の差を理解し、SSMのハードウェア問題を解決するための進展を報告している。まず、合成言語モデリングタスクを使用して、SSMと注意機構の差を理解した。著者たちは、既存のSSMが2つの機能に苦労していることを発見した：シーケンス内の以前のトークンを思い出すことと、シーケンス全体でトークンを比較すること。言語モデリングへの影響を理解するため、著者たちはこれらの能力に明示的に設計された新しいSSMレイヤーH3を提案した。
– H3は合成言語で注意機構と一致し、OpenWebTextではトランスフォーマーに0.4 PPL以内で追いついた。さらに、2つの注意レイヤーを保持するハイブリッド125MパラメーターH3-注意モデルは、OpenWebTextで1.0 PPLでトランスフォーマーを上回った。
– 次に、現代のハードウェアでSSMの効率を改善するために、著者たちはフラッシュコンボリューション（FlashConv）を提案した。FlashConvは、融合ブロックFFTアルゴリズムを使用して、長さ最大8Kのシーケンスで効率を改善し、SSMの再帰的な特性を活用した新しい状態伝達アルゴリズムを導入する。 FlashConvは、長距離競技場ベンチマークで2倍の速度向上を実現し、ハイブリッド言語モデルがトランスフォーマーより2.4倍速くテキストを生成できるようになった。
– FlashConvを使用して、著者たちはPileで2.7BパラメーターのハイブリッドH3-注意言語モデルをスケーリングし、トランスフォーマーに比べて下降PPLを達成し、SuperGLUEベンチマークのほとんどのタスクでzeroとfew-shot学習でトランスフォーマーを上回る約束のある初期結果を得た。

要約(オリジナル)

State space models (SSMs) have demonstrated state-of-the-art sequence modeling performance in some modalities, but underperform attention in language modeling. Moreover, despite scaling nearly linearly in sequence length instead of quadratically, SSMs are still slower than Transformers due to poor hardware utilization. In this paper, we make progress on understanding the expressivity gap between SSMs and attention in language modeling, and on reducing the hardware barrier between SSMs and attention. First, we use synthetic language modeling tasks to understand the gap between SSMs and attention. We find that existing SSMs struggle with two capabilities: recalling earlier tokens in the sequence and comparing tokens across the sequence. To understand the impact on language modeling, we propose a new SSM layer, H3, that is explicitly designed for these abilities. H3 matches attention on the synthetic languages and comes within 0.4 PPL of Transformers on OpenWebText. Furthermore, a hybrid 125M-parameter H3-attention model that retains two attention layers surprisingly outperforms Transformers on OpenWebText by 1.0 PPL. Next, to improve the efficiency of training SSMs on modern hardware, we propose FlashConv. FlashConv uses a fused block FFT algorithm to improve efficiency on sequences up to 8K, and introduces a novel state passing algorithm that exploits the recurrent properties of SSMs to scale to longer sequences. FlashConv yields 2$\times$ speedup on the long-range arena benchmark and allows hybrid language models to generate text 2.4$\times$ faster than Transformers. Using FlashConv, we scale hybrid H3-attention language models up to 2.7B parameters on the Pile and find promising initial results, achieving lower perplexity than Transformers and outperforming Transformers in zero- and few-shot learning on a majority of tasks in the SuperGLUE benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI