Energy-Efficient Transformer Inference: Optimization Strategies for Time Series Classification

要約

時系列分類におけるトランスモデルの計算需要の増加は、エネルギー効率の高い展開のための効果的な最適化戦略を必要とします。
この論文では、構造化された剪定とトランスアーキテクチャの量子化方法に焦点を当てた最適化技術の体系的な調査を提示します。
3つの異なるデータセット（冷凍デバイス、電気デバイス、および格子形）での広範な実験を通じて、さまざまなトランス構成にわたってモデルのパフォーマンスとエネルギー効率を定量的に評価します。
私たちの実験結果は、分類パフォーマンスを維持しながら、静的量子化によりエネルギー消費が29.14％減少することを示しており、L1剪定により、精度の低下で推論速度が63％改善されることが示されています。
これらの調査結果は、トランスベースの時系列分類のための最適化戦略の有効性に関する貴重な洞察を提供し、リソースに制約のある環境での効率的なモデル展開の基盤を確立します。

要約(オリジナル)

The increasing computational demands of transformer models in time series classification necessitate effective optimization strategies for energy-efficient deployment. This paper presents a systematic investigation of optimization techniques, focusing on structured pruning and quantization methods for transformer architectures. Through extensive experimentation on three distinct datasets (RefrigerationDevices, ElectricDevices, and PLAID), we quantitatively evaluate model performance and energy efficiency across different transformer configurations. Our experimental results demonstrate that static quantization reduces energy consumption by 29.14% while maintaining classification performance, and L1 pruning achieves a 63% improvement in inference speed with minimal accuracy degradation. These findings provide valuable insights into the effectiveness of optimization strategies for transformer-based time series classification, establishing a foundation for efficient model deployment in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google