Simplified State Space Layers for Sequence Modeling

要約

構造化状態空間シーケンス（S4）レイヤーを用いたモデルは、長距離シーケンスモデリングタスクにおいて最先端の性能を達成している。S4層は、線形状態空間モデル（SSM）、HiPPOフレームワーク、およびディープラーニングを組み合わせて、高い性能を達成します。我々は、S4層の設計に基づき、新しい状態空間層であるS5層を導入する。S4層が独立した単入力単出力のSSMを多数使用するのに対し、S5層は多入力多出力のSSMを1つ使用する。S5とS4の間の接続を確立し、S5モデルで使用される初期化およびパラメータ化を開発するために使用します。その結果、効率的で広く実装されている並列スキャンを活用できる状態空間レイヤーができ、S5はS4の計算効率に匹敵すると同時に、いくつかの長距離配列モデリングタスクで最先端の性能を達成することができました。S5は、長距離アリーナベンチマークで平均87.4%、最も難しいPath-Xタスクで98.5%を達成しています。

要約(オリジナル)

Models using structured state space sequence (S4) layers have achieved state-of-the-art performance on long-range sequence modeling tasks. An S4 layer combines linear state space models (SSMs), the HiPPO framework, and deep learning to achieve high performance. We build on the design of the S4 layer and introduce a new state space layer, the S5 layer. Whereas an S4 layer uses many independent single-input, single-output SSMs, the S5 layer uses one multi-input, multi-output SSM. We establish a connection between S5 and S4, and use this to develop the initialization and parameterization used by the S5 model. The result is a state space layer that can leverage efficient and widely implemented parallel scans, allowing S5 to match the computational efficiency of S4, while also achieving state-of-the-art performance on several long-range sequence modeling tasks. S5 averages 87.4% on the long range arena benchmark, and 98.5% on the most difficult Path-X task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL