Look Into the LITE in Deep Learning for Time Series Classification

要約

深層学習モデルは、時系列分類 (TSC) の強力なソリューションであることが示されています。
最先端のアーキテクチャは、UCR および UEA アーカイブで有望な結果を生み出すと同時に、多数のトレーニング可能なパラメータを提供します。
これにより、長時間のトレーニングが行われ、CO2 排出量、電力消費量が増加し、1 秒あたりの浮動小数点演算数 (FLOPS) が増加する可能性があります。
このペーパーでは、TSC の新しいアーキテクチャである Light Inception with boosTing tEchnique (LITE) を紹介します。これは、パフォーマンスを維持しながら、最先端の InceptionTime モデルのパラメーター数のわずか 2.34% を使用します。
このアーキテクチャは、DepthWise Separable Convolutions (DWSC) の使用によりトレーニング可能なパラメーターが 9,814 個のみですが、多重化、カスタム フィルター、拡張畳み込みという 3 つの技術によって強化されています。
UCR でトレーニングされた LITE アーキテクチャは、InceptionTime よりも 2.78 倍高速で、CO2 と電力の消費量は 2.79 分の 1 です。
多変量時系列データに対する提案されたアーキテクチャのパフォーマンスを評価するために、多変量時系列を処理できるように LITE を適合させます。このバージョンを LITEMV と呼びます。
理論を応用するために、人間のリハビリテーション動作を表す多変量時系列に対して LITEMV を使用した実験も行いました。これにより、LITEMV が最も効率的なモデルであるだけでなく、骨格ベースの人間のリハビリテーション演習である Kimore データセットでのこのアプリケーションに対して最高のパフォーマンスを発揮することがわかりました。
データセット。
さらに、LITEMV の解釈可能性に対処するために、評価中にモデルによって行われる分類決定を理解するためにクラス アクティベーション マップを使用した研究を紹介します。

要約(オリジナル)

Deep learning models have been shown to be a powerful solution for Time Series Classification (TSC). State-of-the-art architectures, while producing promising results on the UCR and the UEA archives , present a high number of trainable parameters. This can lead to long training with high CO2 emission, power consumption and possible increase in the number of FLoating-point Operation Per Second (FLOPS). In this paper, we present a new architecture for TSC, the Light Inception with boosTing tEchnique (LITE) with only 2.34% of the number of parameters of the state-of-the-art InceptionTime model, while preserving performance. This architecture, with only 9, 814 trainable parameters due to the usage of DepthWise Separable Convolutions (DWSC), is boosted by three techniques: multiplexing, custom filters, and dilated convolution. The LITE architecture, trained on the UCR, is 2.78 times faster than InceptionTime and consumes 2.79 times less CO2 and power. To evaluate the performance of the proposed architecture on multivariate time series data, we adapt LITE to handle multivariate time series, we call this version LITEMV. To bring theory into application, we also conducted experiments using LITEMV on multivariate time series representing human rehabilitation movements, showing that LITEMV not only is the most efficient model but also the best performing for this application on the Kimore dataset, a skeleton based human rehabilitation exercises dataset. Moreover, to address the interpretability of LITEMV, we present a study using Class Activation Maps to understand the classification decision taken by the model during evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google