Rough Transformers for Continuous and Efficient Time-Series Modelling

要約

現実の医療現場の時系列データは通常、長距離の依存関係を示し、不均一な間隔で観察されます。
このような状況では、従来のシーケンスベースのリカレントモデルは苦戦します。
これを克服するために、研究者はリカレント アーキテクチャを Neural ODE ベースのモデルに置き換えて不規則にサンプリングされたデータをモデル化し、Transformer ベースのアーキテクチャを使用して長距離の依存関係を考慮しています。
これら 2 つのアプローチは成功しましたが、どちらも中程度以上の長さの入力シーケンスに対して非常に高い計算コストがかかります。
これを軽減するために、Transformer モデルのバリエーションである Rough Transformer を導入します。これは、入力シーケンスの連続時間表現で動作し、医療現場で一般的な長距離依存関係に対処するために重要な計算コストを大幅に削減します。
特に、マルチビュー シグネチャ アテンションを提案します。これは、パス シグネチャを使用してバニラ アテンションを強化し、入力データのローカル依存性とグローバル依存性の両方をキャプチャしながら、シーケンス長とサンプリング周波数の変化に対する堅牢性を維持します。
ラフ トランスフォーマーは、合成および現実世界の時系列タスクで、計算時間とメモリ リソースの一部を使用してニューラル ODE ベースのモデルのメリットを享受しながら、バニラ アテンション トランスフォーマーよりも一貫して優れたパフォーマンスを発揮することがわかりました。

要約(オリジナル)

Time-series data in real-world medical settings typically exhibit long-range dependencies and are observed at non-uniform intervals. In such contexts, traditional sequence-based recurrent models struggle. To overcome this, researchers replace recurrent architectures with Neural ODE-based models to model irregularly sampled data and use Transformer-based architectures to account for long-range dependencies. Despite the success of these two approaches, both incur very high computational costs for input sequences of moderate lengths and greater. To mitigate this, we introduce the Rough Transformer, a variation of the Transformer model which operates on continuous-time representations of input sequences and incurs significantly reduced computational costs, critical for addressing long-range dependencies common in medical contexts. In particular, we propose multi-view signature attention, which uses path signatures to augment vanilla attention and to capture both local and global dependencies in input data, while remaining robust to changes in the sequence length and sampling frequency. We find that Rough Transformers consistently outperform their vanilla attention counterparts while obtaining the benefits of Neural ODE-based models using a fraction of the computational time and memory resources on synthetic and real-world time-series tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google