MSTAR: Multi-Scale Backbone Architecture Search for Timeseries Classification

要約

時系列分類 (TSC) に対するこれまでのアプローチのほとんどは、時間分解能を無視しながら、受容野と周波数の重要性を強調していました。
したがって、広範な受容野を分類モデルに統合する際に、必然的にスケーラビリティの問題に悩まされました。
他の方法は、大規模なデータセットに適した適応性を持っていますが、手動の設計が必要であり、各データセットの独自性により最適なアーキテクチャに到達することができません。
私たちは、周波数と時間分解能の両方の問題に対処し、特定のデータセットに適切なスケールを発見する、新しいマルチスケール検索空間とニューラル アーキテクチャ検索 (NAS) のフレームワークを提案することで、これらの課題を克服します。
さらに、このモデルが、トレーニングされていない重みと事前にトレーニングされた重みの両方を備えた強力な Transformer モジュールを使用するためのバックボーンとして機能できることを示します。
私たちの検索スペースは、データごとに 10 以上の高度に微調整されたモデルを導入しながら、4 つの異なるドメインの 4 つのデータセットで最先端のパフォーマンスに達します。

要約(オリジナル)

Most of the previous approaches to Time Series Classification (TSC) highlight the significance of receptive fields and frequencies while overlooking the time resolution. Hence, unavoidably suffered from scalability issues as they integrated an extensive range of receptive fields into classification models. Other methods, while having a better adaptation for large datasets, require manual design and yet not being able to reach the optimal architecture due to the uniqueness of each dataset. We overcome these challenges by proposing a novel multi-scale search space and a framework for Neural architecture search (NAS), which addresses both the problem of frequency and time resolution, discovering the suitable scale for a specific dataset. We further show that our model can serve as a backbone to employ a powerful Transformer module with both untrained and pre-trained weights. Our search space reaches the state-of-the-art performance on four datasets on four different domains while introducing more than ten highly fine-tuned models for each data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google