State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory

要約

状態空間モデルは、そのシンプルで効率的なネットワーク構造により、シーケンス モデリングで人気を集めています。
ただし、時間方向に沿った非線形活性化がないため、モデルの能力が制限されます。
この論文では、層ごとの非線形活性化を使用して状態空間モデルを積み重ねることで、連続的なシーケンス間の関係を近似するのに十分であることを証明します。
私たちの発見は、層ごとの非線形活性化を追加すると、複雑なシーケンス パターンを学習するモデルの能力が強化されることを示しています。
一方、状態空間モデルは指数関数的に減衰する記憶の問題を根本的に解決していないことが理論的にも経験的にもわかります。
理論的結果は数値検証によって正当化されます。

要約(オリジナル)

State-space models have gained popularity in sequence modelling due to their simple and efficient network structures. However, the absence of nonlinear activation along the temporal direction limits the model’s capacity. In this paper, we prove that stacking state-space models with layer-wise nonlinear activation is sufficient to approximate any continuous sequence-to-sequence relationship. Our findings demonstrate that the addition of layer-wise nonlinear activation enhances the model’s capacity to learn complex sequence patterns. Meanwhile, it can be seen both theoretically and empirically that the state-space models do not fundamentally resolve the issue of exponential decaying memory. Theoretical results are justified by numerical verifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google