Fast Adaptive Test-Time Defense with Robust Features

要約

適応型テスト時防御は、敵対的な例に対するディープ ニューラル ネットワークの堅牢性を向上させるために使用されます。
ただし、既存の方法では、テスト時のモデル パラメーターまたは入力に対する追加の最適化により、推論時間が大幅に増加します。
この研究では、テスト時の追加の計算を行わずに、既存の (堅牢な) トレーニング手順と簡単に統合できる、新しい適応型テスト時防御戦略を提案します。
私たちが提示する特徴の堅牢性の概念に基づいて、重要なアイデアは、トレーニングされたモデルを最も堅牢な特徴空間に投影し、それによって非堅牢な方向への敵対的攻撃に対する脆弱性を軽減することです。
私たちは、特徴行列の最上位固有空間が一般化された加法モデルに対してより堅牢であることを理論的に示し、ニューラル タンジェント カーネル (NTK) と同等の幅の広いニューラル ネットワークに対する私たちの議論をサポートします。
私たちは、RobustBench の最先端手法を含むいくつかの堅牢性ベンチマークについて、CIFAR-10 および CIFAR-100 データセットで広範な実験を実施し、提案された手法が、はるかに低い計算コストで既存の適応型テスト時防御を上回るパフォーマンスを発揮することを観察しました。

要約(オリジナル)

Adaptive test-time defenses are used to improve the robustness of deep neural networks to adversarial examples. However, existing methods significantly increase the inference time due to additional optimization on the model parameters or the input at test time. In this work, we propose a novel adaptive test-time defense strategy that is easy to integrate with any existing (robust) training procedure without additional test-time computation. Based on the notion of robustness of features that we present, the key idea is to project the trained models to the most robust feature space, thereby reducing the vulnerability to adversarial attacks in non-robust directions. We theoretically show that the top eigenspace of the feature matrix are more robust for a generalized additive model and support our argument for a large width neural network with the Neural Tangent Kernel (NTK) equivalence. We conduct extensive experiments on CIFAR-10 and CIFAR-100 datasets for several robustness benchmarks, including the state-of-the-art methods in RobustBench, and observe that the proposed method outperforms existing adaptive test-time defenses at much lower computation costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google