Kernel-U-Net: Multivariate Time Series Forecasting using Custom Kernels

要約

時系列予測タスクは、履歴情報に基づいて将来の傾向を予測します。
Transformer ベースの U-Net アーキテクチャは、医療画像のセグメンテーションでは成功しているにもかかわらず、YFormer で実証されているように、時系列予測の表現力と計算効率の両方に限界があります。
これらの課題に取り組むために、柔軟でカーネルでカスタマイズ可能な U 字型ニューラル ネットワーク アーキテクチャである Kernel-U-Net を導入します。
カーネル U-Net エンコーダは入力系列を潜在ベクトルに圧縮し、その後、その対称デコーダがこれらのベクトルを出力系列に拡張します。
具体的には、Kernel-U-Net は、入力時系列をパッチに分割する手順をカーネル操作から分離し、それによってカスタマイズされた実行カーネルの利便性を提供します。
私たちの方法には、次の 2 つの主な利点があります。1) 特定のデータセットに適応するためのカーネルのカスタマイズの柔軟性。
2) Transformer 層の複雑さが線形に軽減され、計算効率が向上します。
7 つの現実世界のデータセットでの実験では、Kernel-U-Net のパフォーマンスが、チャネルに依存しない設定でのほとんどの場合、既存の最先端モデルのパフォーマンスを上回るか満たしていることが実証されました。
Kernel-U-Net のソース コードは、さらなる研究と応用のために公開される予定です。

要約(オリジナル)

Time series forecasting task predicts future trends based on historical information. Transformer-based U-Net architectures, despite their success in medical image segmentation, have limitations in both expressiveness and computation efficiency in time series forecasting as evidenced in YFormer. To tackle these challenges, we introduce Kernel-U-Net, a flexible and kernel-customizable U-shape neural network architecture. The kernel-U-Net encoder compresses the input series into latent vectors, and its symmetric decoder subsequently expands these vectors into output series. Specifically, Kernel-U-Net separates the procedure of partitioning input time series into patches from kernel manipulation, thereby providing the convenience of customized executing kernels. Our method offers two primary advantages: 1) Flexibility in kernel customization to adapt to specific datasets; and 2) Enhanced computational efficiency, with the complexity of the Transformer layer reduced to linear. Experiments on seven real-world datasets, demonstrate that Kernel-U-Net’s performance either exceeds or meets that of the existing state-of-the-art model in the majority of cases in channel-independent settings. The source code for Kernel-U-Net will be made publicly available for further research and application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google