Flash STU: Fast Spectral Transform Units

要約

このペーパーでは、スペクトル変換ユニットの効率的なオープンソース PyTorch 実装について説明します。
私たちは、言語、ロボット工学、シミュレートされた動的システムを含むいくつかのモダリティにわたるシーケンス予測タスクを調査します。
同じパラメータ数の場合、STU とそのバリアントは、さまざまなモダリティにわたって、Transformer や他の主要な状態空間モデルよりも優れたパフォーマンスを発揮することがわかりました。

要約(オリジナル)

This paper describes an efficient, open source PyTorch implementation of the Spectral Transform Unit. We investigate sequence prediction tasks over several modalities including language, robotics, and simulated dynamical systems. We find that for the same parameter count, the STU and its variants outperform the Transformer as well as other leading state space models across various modalities.

arxiv情報

著者 Y. Isabel Liu,Windsor Nguyen,Yagiz Devre,Evan Dogariu,Anirudha Majumdar,Elad Hazan
発行日 2024-09-16 17:22:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG パーマリンク