Less is More: Data Pruning for Faster Adversarial Training

要約

ディープ ニューラル ネットワーク (DNN) は敵対的な例に敏感であるため、現実の世界では脆弱で信頼性の低いパフォーマンスになります。
敵対的トレーニング (AT) は現在、DNN を堅牢化するための最も効果的な方法論の 1 つですが、計算コストが非常に高くなります (たとえば、標準的なトレーニングよりも 5 倍から 10 倍のコストがかかります)。
この課題に対処するために、既存のアプローチは、Fast AT と呼ばれるシングルステップ AT に焦点を当て、敵対的な例の生成のオーバーヘッドを削減します。
残念ながら、これらのアプローチは、より強力な敵に対しては失敗することが知られています。
ロバスト性を損なうことなく AT の計算効率を高めるために、このホワイト ペーパーでは、効率的な AT の問題について別の見方をしています。
具体的には、データのプルーニングを活用して、データ レベルでの冗長性を最小限に抑えることを提案します。
広範な実験により、データ プルーニング ベースの AT は、大幅に高速でありながら、非プルーニングの対応物と同等またはそれ以上の堅牢な (およびクリーンな) 精度を達成できることが実証されています。
たとえば、提案された戦略は、CIFAR-10 トレーニングを最大 3.44 倍、CIFAR-100 トレーニングを 2.02 倍に加速します。
さらに、データの刈り込み方法は、既存の敵対的アクセラレーション トリックと容易に調整して、CIFAR-10 で 5.66X と 5.12X、CIFAR-100 で TRADES と MART でそれぞれ 3.67X と 3.07X という驚くべきスピードアップを得ることができます。

要約(オリジナル)

Deep neural networks (DNNs) are sensitive to adversarial examples, resulting in fragile and unreliable performance in the real world. Although adversarial training (AT) is currently one of the most effective methodologies to robustify DNNs, it is computationally very expensive (e.g., 5-10X costlier than standard training). To address this challenge, existing approaches focus on single-step AT, referred to as Fast AT, reducing the overhead of adversarial example generation. Unfortunately, these approaches are known to fail against stronger adversaries. To make AT computationally efficient without compromising robustness, this paper takes a different view of the efficient AT problem. Specifically, we propose to minimize redundancies at the data level by leveraging data pruning. Extensive experiments demonstrate that the data pruning based AT can achieve similar or superior robust (and clean) accuracy as its unpruned counterparts while being significantly faster. For instance, proposed strategies accelerate CIFAR-10 training up to 3.44X and CIFAR-100 training to 2.02X. Additionally, the data pruning methods can readily be reconciled with existing adversarial acceleration tricks to obtain the striking speed-ups of 5.66X and 5.12X on CIFAR-10, 3.67X and 3.07X on CIFAR-100 with TRADES and MART, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google