Boosting Certificate Robustness for Time Series Classification with Efficient Self-Ensemble

要約

最近、時系列ドメインにおける敵対的な堅牢性の問題が大きな注目を集めています。
ただし、利用可能な防御メカニズムは依然として限られており、理論的な保証はありませんが、敵対的トレーニングが主流のアプローチです。
ランダム化平滑化は、$\ell_p$-ball 攻撃下での堅牢性半径の証明可能な下限を証明できるため、傑出した手法として浮上しました。
その成功を認識して、時系列ドメインの研究はこれらの側面に焦点を当て始めています。
しかし、既存の研究は主に時系列予測、または時系列分類のための統計的特徴拡張における非 $\ell_p$ 堅牢性の下で焦点を当てています~(TSC)。
私たちのレビューでは、TSC ではランダム化平滑化のパフォーマンスが中程度であり、堅牢性が低いデータセットに対して効果的な保証を提供するのに苦労していることがわかりました。
したがって、分類マージンの分散を低減することで予測ラベルの確率信頼度の下限を強化し、それによりより大きな半径を保証する自己アンサンブル法を提案します。
このアプローチは、Deep Ensemble~(DE) の計算オーバーヘッドの問題にも対処しながら、競争力を維持し、場合によっては堅牢性の点でそれを上回ります。
理論的分析と実験結果の両方が私たちの方法の有効性を検証し、ベースラインアプローチと比較してロバスト性テストで優れたパフォーマンスを実証しています。

要約(オリジナル)

Recently, the issue of adversarial robustness in the time series domain has garnered significant attention. However, the available defense mechanisms remain limited, with adversarial training being the predominant approach, though it does not provide theoretical guarantees. Randomized Smoothing has emerged as a standout method due to its ability to certify a provable lower bound on robustness radius under $\ell_p$-ball attacks. Recognizing its success, research in the time series domain has started focusing on these aspects. However, existing research predominantly focuses on time series forecasting, or under the non-$\ell_p$ robustness in statistic feature augmentation for time series classification~(TSC). Our review found that Randomized Smoothing performs modestly in TSC, struggling to provide effective assurances on datasets with poor robustness. Therefore, we propose a self-ensemble method to enhance the lower bound of the probability confidence of predicted labels by reducing the variance of classification margins, thereby certifying a larger radius. This approach also addresses the computational overhead issue of Deep Ensemble~(DE) while remaining competitive and, in some cases, outperforming it in terms of robustness. Both theoretical analysis and experimental results validate the effectiveness of our method, demonstrating superior performance in robustness testing compared to baseline approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google