Two-Stage Aggregation with Dynamic Local Attention for Irregular Time Series

要約

不規則な多変量時系列データは、測定された変数/信号 (つまり、特徴) の連続した観測間の時間間隔の変化と、これらの特徴全体でのサンプリング レート (つまり、記録/測定) の変化によって特徴付けられます。
こうした不規則性を考慮しながら時系列をモデル化することは、機械学習手法にとって依然として困難な作業です。
ここでは、多変量時系列における時間的および特徴的不規則性を調和させる、動的ローカル アテンションを備えた 2 段階集計プロセスである TADA を紹介します。
最初の段階では、各タイム ステップで利用可能なすべての特徴を使用して、不規則な時系列に時間埋め込み (TE) が行われます。
このプロセスでは、利用可能な各特徴の寄与が保存され、タイム ステップごとに固定次元の表現が生成されます。
第 2 段階では、適応ウィンドウ サイズを備えた動的ローカル アテンション (DLA) メカニズムが導入されます。
DLA は、機能固有のウィンドウを使用して時間記録を集計し、機能固有のサンプリング レートをキャプチャする不規則な時間間隔を調和させます。
次に、階層型 MLP ミキサー レイヤーがマルチスケール パッチングを通じて DLA の出力を処理し、ダウンストリーム タスクのさまざまなスケールで情報を活用します。
TADA は、最新の MIMIC IV データセットを含む 3 つの現実世界のデータセットで最先端の手法を上回っており、不規則な多変量時系列の処理におけるその有効性と、さまざまな現実世界のアプリケーションへの可能性を強調しています。

要約(オリジナル)

Irregular multivariate time series data is characterized by varying time intervals between consecutive observations of measured variables/signals (i.e., features) and varying sampling rates (i.e., recordings/measurement) across these features. Modeling time series while taking into account these irregularities is still a challenging task for machine learning methods. Here, we introduce TADA, a Two-stageAggregation process with Dynamic local Attention to harmonize time-wise and feature-wise irregularities in multivariate time series. In the first stage, the irregular time series undergoes temporal embedding (TE) using all available features at each time step. This process preserves the contribution of each available feature and generates a fixed-dimensional representation per time step. The second stage introduces a dynamic local attention (DLA) mechanism with adaptive window sizes. DLA aggregates time recordings using feature-specific windows to harmonize irregular time intervals capturing feature-specific sampling rates. Then hierarchical MLP mixer layers process the output of DLA through multiscale patching to leverage information at various scales for the downstream tasks. TADA outperforms state-of-the-art methods on three real-world datasets, including the latest MIMIC IV dataset, and highlights its effectiveness in handling irregular multivariate time series and its potential for various real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google