TS-ACL: Closed-Form Solution for Time Series-oriented Continual Learning

要約

時系列分類は、マルチメディアシナリオのヘルスケア診断やジェスチャー駆動型インタラクティブシステムなどの重要なアプリケーションを支えています。
ただし、時系列のクラスインクリメンタル学習（TSCIL）は、壊滅的な忘却とクラス内のバリエーションという2つの主要な課題に直面しています。
勾配ベースのパラメーター更新戦略が過去の知識を必然的に消去するため、壊滅的な忘却が発生します。
画像とは異なり、時系列データは、同じクラス内で観察されるパターンの違いを指すクラス内変動とも呼ばれる主題固有のパターンを示します。
模範ベースの方法は、限られたサンプルで多様な変動をカバーすることができませんが、既存の模範を含まない方法には、クラス内変動を処理する明示的なメカニズムがありません。
これらの2つの課題に対処するために、勾配ベースの最適化方法に固有の壊滅的な忘却問題を回避するために勾配のない閉じた閉形式ソリューションを活用するTS-ACLを提案し、同時にクラス内変動を解決するためのグローバルな分布を学習します。
さらに、プライバシーの保護と効率を提供します。
さまざまなセンサーのモダリティとタスクをカバーする5つのベンチマークデータセットでの広範な実験は、TS-ACLが4つのデータセットでの共同トレーニングに近いパフォーマンスを達成し、既存の方法を上回り、TSCILの新しい最先端（SOTA）を確立することを示しています。

要約(オリジナル)

Time series classification underpins critical applications such as healthcare diagnostics and gesture-driven interactive systems in multimedia scenarios. However, time series class-incremental learning (TSCIL) faces two major challenges: catastrophic forgetting and intra-class variations. Catastrophic forgetting occurs because gradient-based parameter update strategies inevitably erase past knowledge. And unlike images, time series data exhibits subject-specific patterns, also known as intra-class variations, which refer to differences in patterns observed within the same class. While exemplar-based methods fail to cover diverse variation with limited samples, existing exemplar-free methods lack explicit mechanisms to handle intra-class variations. To address these two challenges, we propose TS-ACL, which leverages a gradient-free closed-form solution to avoid the catastrophic forgetting problem inherent in gradient-based optimization methods while simultaneously learning global distributions to resolve intra-class variations. Additionally, it provides privacy protection and efficiency. Extensive experiments on five benchmark datasets covering various sensor modalities and tasks demonstrate that TS-ACL achieves performance close to joint training on four datasets, outperforming existing methods and establishing a new state-of-the-art (SOTA) for TSCIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google