要約
このペーパーでは、スペクトル変換ユニットの効率的なオープンソース PyTorch 実装について説明します。
私たちは、言語、ロボット工学、シミュレートされた動的システムを含むいくつかのモダリティにわたるシーケンス予測タスクを調査します。
同じパラメータ数の場合、STU とそのバリアントは、さまざまなモダリティにわたって、Transformer や他の主要な状態空間モデルよりも優れたパフォーマンスを発揮することがわかりました。
要約(オリジナル)
This paper describes an efficient, open source PyTorch implementation of the Spectral Transform Unit. We investigate sequence prediction tasks over several modalities including language, robotics, and simulated dynamical systems. We find that for the same parameter count, the STU and its variants outperform the Transformer as well as other leading state space models across various modalities.
arxiv情報
| 著者 | Y. Isabel Liu,Windsor Nguyen,Yagiz Devre,Evan Dogariu,Anirudha Majumdar,Elad Hazan |
| 発行日 | 2024-09-17 12:01:14+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google