Look Into the LITE in Deep Learning for Time Series Classification

要約

深い学習モデルは、時系列分類（TSC）の強力なソリューションであることが示されています。
UCRとUEAアーカイブで有望な結果を生成しながら、最先端のアーキテクチャは、多数のトレーニング可能なパラメーターを提示します。
これにより、CO2排出量が高い、消費電力が高く、1秒あたりの浮動小数点操作の数が増加する可能性があるため、長いトレーニングにつながる可能性があります（FLOPS）。
このホワイトペーパーでは、TSCの新しいアーキテクチャを紹介します。これは、パフォーマンスを維持しながら、最先端のインセプションモデルのパラメーターの数のわずか2.34％のブーストテクニック（Lite）を備えた光の開始です。
このアーキテクチャは、深度分離可能な畳み込み（DWSC）の使用により9、814のトレーニング可能なパラメーターのみを備えており、マルチプレックス、カスタムフィルター、拡張畳み込みの3つの手法によって後押しされています。
UCRで訓練されたLiteアーキテクチャは、InceptionTimeよりも2.78倍高速で、CO2と電力が2.79倍低くなります。
多変量時系列データに関する提案されたアーキテクチャのパフォーマンスを評価するために、多変量時系列を処理するためにLiteを適応させると、このバージョンLITEMVと呼びます。
理論をアプリケーションに持ち込むために、人間のリハビリテーションの動きを表す多変量時系列でlitemvを使用して実験しました。Litemvは、最も効率的なモデルであるだけでなく、キモアデータセットでこのアプリケーションで最高のパフォーマンスであることを示しています。
データセット。
さらに、LITEMVの解釈可能性に対処するために、クラスアクティベーションマップを使用して研究を提示して、評価中にモデルが取った分類決定を理解します。

要約(オリジナル)

Deep learning models have been shown to be a powerful solution for Time Series Classification (TSC). State-of-the-art architectures, while producing promising results on the UCR and the UEA archives , present a high number of trainable parameters. This can lead to long training with high CO2 emission, power consumption and possible increase in the number of FLoating-point Operation Per Second (FLOPS). In this paper, we present a new architecture for TSC, the Light Inception with boosTing tEchnique (LITE) with only 2.34% of the number of parameters of the state-of-the-art InceptionTime model, while preserving performance. This architecture, with only 9, 814 trainable parameters due to the usage of DepthWise Separable Convolutions (DWSC), is boosted by three techniques: multiplexing, custom filters, and dilated convolution. The LITE architecture, trained on the UCR, is 2.78 times faster than InceptionTime and consumes 2.79 times less CO2 and power. To evaluate the performance of the proposed architecture on multivariate time series data, we adapt LITE to handle multivariate time series, we call this version LITEMV. To bring theory into application, we also conducted experiments using LITEMV on multivariate time series representing human rehabilitation movements, showing that LITEMV not only is the most efficient model but also the best performing for this application on the Kimore dataset, a skeleton based human rehabilitation exercises dataset. Moreover, to address the interpretability of LITEMV, we present a study using Class Activation Maps to understand the classification decision taken by the model during evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google