Partial Channel Dependence with Channel Masks for Time Series Foundation Models

要約

基礎モデルの最近の進歩は、大規模な TS データセットの出現によって促進され、時系列 (TS) ドメインにまで拡張されることに成功しました。
ただし、これまでの取り組みは主に、さまざまな数のチャネルなどのデータセット間の明示的な異質性に対処するモデル アーキテクチャの設計に焦点を当てており、チャネル間の依存関係の変化などの暗黙的な異質性が見落とされることがよくありました。
この研究では、データセット固有の情報に基づいてチャネル依存性をより高度に調整できるようにする部分チャネル依存性 (PCD) の概念を導入します。
PCD を実現するために、2 つの主要なコンポーネントを使用してデータセット内のチャネル間の関係をキャプチャするチャネル マスクを提案します。1) チャネル間の相対的な依存関係をエンコードする相関行列、2) 各データセットに固有の絶対的な依存関係を学習するドメイン パラメーター。
相関行列を洗練します。
TS 基礎モデルとシングルタスク モデルの両方を使用した少数ショットおよびゼロショット シナリオを含むさまざまな設定の下で、予測、分類、代入、異常検出を含む TS の 4 つのタスクにわたる PCD の有効性を検証します。
コードは https://github.com/seunghan96/CM で入手できます。

要約(オリジナル)

Recent advancements in foundation models have been successfully extended to the time series (TS) domain, facilitated by the emergence of large-scale TS datasets. However, previous efforts have primarily focused on designing model architectures to address explicit heterogeneity among datasets such as various numbers of channels, while often overlooking implicit heterogeneity such as varying dependencies between channels. In this work, we introduce the concept of partial channel dependence (PCD), which enables a more sophisticated adjustment of channel dependencies based on dataset-specific information. To achieve PCD, we propose a channel mask that captures the relationships between channels within a dataset using two key components: 1) a correlation matrix that encodes relative dependencies between channels, and 2) domain parameters that learn the absolute dependencies specific to each dataset, refining the correlation matrix. We validate the effectiveness of PCD across four tasks in TS including forecasting, classification, imputation, and anomaly detection, under diverse settings, including few-shot and zero-shot scenarios with both TS foundation models and single-task models. Code is available at https://github.com/seunghan96/CM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google