LightTS: Lightweight Time Series Classification with Adaptive Ensemble Distillation — Extended Version

要約

プロセスの抜本的なデジタル化により、ますます膨大な量の時系列データが生成されています。
このような時系列の正確な分類により、複数のドメインでの意思決定が容易になります。
最先端の分類精度は、結果が複数の基本モデルから合成されるアンサンブル学習によって達成されることがよくあります。
この特性は、アンサンブル学習がかなりのコンピューティング リソースを必要とし、エッジ デバイスなどのリソースが限られた環境での使用を妨げていることを意味します。
アンサンブル学習の適用性を拡張するために、競争力のある精度を確保しながら、大規模なアンサンブルを軽量モデルに圧縮する LightTS フレームワークを提案します。
最初に、さまざまな分類機能が軽量モデルのトレーニングに意図的に貢献するように、さまざまな基本モデルに適応重みを割り当てる適応アンサンブル蒸留を提案します。
次に、パレート最適設定 w.r.t を特定する手段を提案します。
モデルの精度とモデルのサイズにより、スペースの予算があるユーザーが最も正確な軽量モデルを選択できるようになります。
LightTS の設計における重要な決定を正当化し、LightTS が競合他社を凌駕できるという証拠を提供する、128 の実世界の時系列セットとさまざまなタイプの基本モデルを使用した実験について報告します。

要約(オリジナル)

Due to the sweeping digitalization of processes, increasingly vast amounts of time series data are being produced. Accurate classification of such time series facilitates decision making in multiple domains. State-of-the-art classification accuracy is often achieved by ensemble learning where results are synthesized from multiple base models. This characteristic implies that ensemble learning needs substantial computing resources, preventing their use in resource-limited environments, such as in edge devices. To extend the applicability of ensemble learning, we propose the LightTS framework that compresses large ensembles into lightweight models while ensuring competitive accuracy. First, we propose adaptive ensemble distillation that assigns adaptive weights to different base models such that their varying classification capabilities contribute purposefully to the training of the lightweight model. Second, we propose means of identifying Pareto optimal settings w.r.t. model accuracy and model size, thus enabling users with a space budget to select the most accurate lightweight model. We report on experiments using 128 real-world time series sets and different types of base models that justify key decisions in the design of LightTS and provide evidence that LightTS is able to outperform competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google