Mantis: Lightweight Calibrated Foundation Model for User-Friendly Time Series Classification

要約

近年、多様なダウンストリームタスク全体に一般化できる時系列データの基礎モデルの開発に関心が高まっています。
多くの予測指向の基礎モデルが導入されていますが、時系列分類に合わせて調整されたモデルの顕著な不足があります。
このギャップに対処するために、対照的な学習アプローチを使用して事前に訓練されたビジョントランス（VIT）アーキテクチャに基づいた時系列分類のための新しいオープンソースファンデーションモデルであるMantisを提示します。
私たちの実験結果は、バックボーンが凍結されたときと微調整されたときに、最低のキャリブレーションエラーを達成しながら、マンティスが既存の基礎モデルを上回ることを示しています。
さらに、多変量設定を処理するためのいくつかのアダプターを提案し、メモリ要件を削減し、チャネル相互依存をモデリングします。

要約(オリジナル)

In recent years, there has been increasing interest in developing foundation models for time series data that can generalize across diverse downstream tasks. While numerous forecasting-oriented foundation models have been introduced, there is a notable scarcity of models tailored for time series classification. To address this gap, we present Mantis, a new open-source foundation model for time series classification based on the Vision Transformer (ViT) architecture that has been pre-trained using a contrastive learning approach. Our experimental results show that Mantis outperforms existing foundation models both when the backbone is frozen and when fine-tuned, while achieving the lowest calibration error. In addition, we propose several adapters to handle the multivariate setting, reducing memory requirements and modeling channel interdependence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google