Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

要約

一連の生の感覚データから推論することは、医療機器からロボット工学に至るまでの分野にわたる遍在的な問題です。
これらの問題には、多くの場合、一連の望ましい物理量 (力、慣性測定など) を予測するために、生のセンサー データ (磁力計、ピエゾ抵抗器など) の長いシーケンスを使用することが含まれます。
従来のアプローチは局所線形予測問題には強力ですが、現実世界のセンサーを使用する場合には不十分なことがよくあります。
これらのセンサーは通常、非線形であり、外部変数 (振動など) の影響を受け、データ依存のドリフトを示します。
多くの問題では、グラウンドトゥルースラベルの取得には高価な機器が必要となるため、ラベル付きデータセットが小さいと予測タスクが悪化します。
この研究では、連続逐次予測のための概念的に単純な新しい技術である階層状態空間モデル (HiSS) を紹介します。
HiSS は、構造化された状態空間モデルを互いに積み重ねて、時間階層を作成します。
触覚ベースの状態予測から加速度計ベースの慣性測定まで、6 つの現実世界のセンサー データセットにわたって、HiSS は MSE 上で因果トランスフォーマー、LSTM、S4、Mamba などの最先端のシーケンス モデルよりも少なくとも 23% 優れています。
。
私たちの実験はさらに、HiSS がより小さなデータセットへの効率的なスケーリングを実証し、既存のデータ フィルタリング技術と互換性があることを示しています。
コード、データセット、ビデオは https://hiss-csp.github.io でご覧いただけます。

要約(オリジナル)

Reasoning from sequences of raw sensory data is a ubiquitous problem across fields ranging from medical devices to robotics. These problems often involve using long sequences of raw sensor data (e.g. magnetometers, piezoresistors) to predict sequences of desirable physical quantities (e.g. force, inertial measurements). While classical approaches are powerful for locally-linear prediction problems, they often fall short when using real-world sensors. These sensors are typically non-linear, are affected by extraneous variables (e.g. vibration), and exhibit data-dependent drift. For many problems, the prediction task is exacerbated by small labeled datasets since obtaining ground-truth labels requires expensive equipment. In this work, we present Hierarchical State-Space Models (HiSS), a conceptually simple, new technique for continuous sequential prediction. HiSS stacks structured state-space models on top of each other to create a temporal hierarchy. Across six real-world sensor datasets, from tactile-based state prediction to accelerometer-based inertial measurement, HiSS outperforms state-of-the-art sequence models such as causal Transformers, LSTMs, S4, and Mamba by at least 23% on MSE. Our experiments further indicate that HiSS demonstrates efficient scaling to smaller datasets and is compatible with existing data-filtering techniques. Code, datasets and videos can be found on https://hiss-csp.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google